JP6818445B2 - 音データ処理装置および音データ処理方法 - Google Patents
音データ処理装置および音データ処理方法 Download PDFInfo
- Publication number
- JP6818445B2 JP6818445B2 JP2016126937A JP2016126937A JP6818445B2 JP 6818445 B2 JP6818445 B2 JP 6818445B2 JP 2016126937 A JP2016126937 A JP 2016126937A JP 2016126937 A JP2016126937 A JP 2016126937A JP 6818445 B2 JP6818445 B2 JP 6818445B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- sound
- area
- unit
- areas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 383
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000000926 separation method Methods 0.000 claims description 147
- 238000000034 method Methods 0.000 claims description 41
- 238000012937 correction Methods 0.000 claims description 25
- 230000000873 masking effect Effects 0.000 claims description 7
- 230000005236 sound signal Effects 0.000 description 215
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 64
- 230000005540 biological transmission Effects 0.000 description 59
- 238000003384 imaging method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008054 signal transmission Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G3/00—Gain control in amplifiers or frequency changers
- H03G3/20—Automatic control
- H03G3/30—Automatic control in amplifiers having semiconductor devices
- H03G3/32—Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
- H04R29/002—Loudspeaker arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/004—Monitoring arrangements; Testing arrangements for microphones
- H04R29/005—Microphone arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G3/00—Gain control in amplifiers or frequency changers
- H03G3/20—Automatic control
- H03G3/30—Automatic control in amplifiers having semiconductor devices
- H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Circuit For Audible Band Transducer (AREA)
- Image Processing (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Description
本発明は上記した従来技術の課題を解決するために考案されたものであり、音声信号処理終了までの時間が限られているリアルタイム再生においても所定(所望)の音声を欠損させない音声信号処理装置を提供することを目的とする。
実施形態1の音声信号処理装置は、音響システムの一部であるとして説明をする。音響システムは、例えばスポーツ中継などにおいて、リアルタイム放送(生放送)と、リアルタイム放送とは異なる視点(カメラの向き)のリプレイ放送とを行う中継システムに用いられる音響システムである。
(音声信号処理装置の構成)
図1は音声信号処理装置10の構成を示す機能ブロック図である。音声信号処理装置10は、マイクアレイ11、音源分離部12、処理順序制御部13、音声信号処理部14、記憶部15、リアルタイム再生用信号生成部16およびリプレイ再生用信号生成部17を有する。音声信号処理装置10の各構成要素は、バス18により相互接続されている。音声信号処理装置10は、有線または無線により、再生装置19に接続されている。
音源分離部12は、マイクアレイ11から入力された音声信号を用いて空間をN(N>1)のエリアに分割するように音源分離処理を行う。音源分離処理は、処理フレームごと、つまり所定の時間(時間間隔、時間単位)ごとに行われる。音源分離部12は、例えば前記所定の時間ごとにビームフォーミング処理を行い、エリア(a)ごとの音声信号を取得する。取得した音声信号は、時間(t)情報と共に処理順序制御部13へ出力される。
処理装置の処理量(負荷)が所定量より小さい場合、ある処理フレームの全エリアの音声信号の処理が所定時間内に終了可能である。この場合、音声信号処理部14は、全エリアについてすべての処理をした音声信号を、リアルタイム再生用信号生成部16および記憶部15へ出力する。ある処理フレームの全エリアの音声信号の処理が音声信号処理部14において所定時間内に終了可能であれば、リアルタイム再生用信号生成部16は全エリアについてすべての処理がなされたリアルタイム再生用信号を生成することができる。
処理装置の処理量が所定量以上の場合、ある時間(ある処理フレーム)の全エリアの音声信号を処理すると、リアルタイム再生用信号が生成できなくなる。処理装置の処理量が所定量以上である場合、音声信号処理部14は以下のような信号処理を行う。
音声信号処理部14ではリアルタイム再生までの残時間と、各処理終了までにかかる時間などを管理している。各処理に係る時間は処理装置の負荷に応じて変化するため、処理終了までの時間は処理装置の負荷に応じて変化する。リアルタイム再生までの残時間よりも処理終了までの時間が長くなってしまった場合、音声信号処理部14は一部の処理を行っていないエリアの音声信号をリアルタイム再生用信号生成部16および記憶部15へ出力する。リアルタイム再生までの残時間よりも処理終了までの時間が長くなってしまった場合とは、すべての処理を行うとすると、リアルタイム再生に間に合わない場合である。この場合、処理順序制御部13が設定した処理順序に従って、重要度(優先度)の高い順に、リアルタイム再生に間に合う範囲で(リアルタイム再生に間に合うと判定されたエリアについて)、すべての処理が行われる。そして、処理後の音声信号がリアルタイム再生用信号生成部16および記憶部15へ出力される。一方、リアルタイム再生に間に合わないと判定されたエリアについては、一部の処理を行わずにリアルタイム再生用信号生成部16および記憶部15へ出力される。一部の処理を行わないとは、例えば、3つの処理を行うべきであったのに、1つの処理が行われないことを意味する。3つの処理には優先順位が付けられており、処理が間に合わない場合には、後段の処理から処理を行わないようにする。行われなかった処理の情報は処理待ちリストに記録される。例えば処理待ちリストには処理が行われなかったエリア、時間、そして行われなかった処理の内容が記載される。
音声信号処理部14では処理負荷に余裕ができた時点で記憶部15から上述した処理待ちリストに基づき、一部処理を行っていないエリアの音声信号を取得し、残りの処理を施し、記憶部15へ出力する。処理が終わったものについては処理待ちリストから削除される。
記憶部15は、例えばHDD、SSD、メモリのような記憶装置で、音声信号処理部14から出力された音声信号を時間とエリアに対応づけて記憶する。
リプレイ再生用信号生成部17は、時刻を指定されてリプレイ再生が要求された場合に、該当する時刻の音声データを記憶部15から取得し、リアルタイム再生用信号生成部16と同様の処理を行い出力する。つまり、リプレイ再生用信号生成部17は、記憶部15から得たエリアごとの音声信号をミキシングすることでリプレイ再生用の信号を生成し、当該音声信号を再生装置19に出力する。
図2(A)から図2(C)は、本実施形態の音声信号処理装置10が実行する処理を示すフローチャートである。
図2(A)は、収音からリアルタイム再生用信号を生成するまでのフローを示す。図2(A)に示されているように、はじめに、マイクアレイ11により、空間内の音声の収音が行われる(S1)。収音された各チャンネルの音声の音声信号は、マイクアレイ11から音源分離部12へ出力される。
次に、音源分離部12は、あらかじめ設定された境界(前記空間を分割するための情報)に基づき前記空間を分割したエリアごとの音源を取得するための音源分離を行う(S2)。分離されたエリアごとの音声信号は、音源分離部12から処理順序制御部13へ出力される。
その後、記憶部15により、入力された各エリアの音声信号の記録が行われる(S8)。
なお、リプレイ再生用の音声信号は、記憶部15のエリアごとの音声信号を用いて作成される。
続いて、音声信号処理部14は、処理待ちリストに記録されている処理(音声信号処理部14において実施されていなかったエコー除去処理)を行う(S12)。本実施形態では、遅延補正処理およびゲイン補正処理は行われているがエコー除去処理が行われていなかったエリアの音声信号に対して、エコー除去処理のみを行う。エコー除去処理が行われた音声信号は、記憶部15へ出力される。
図2(C)は、リプレイ再生が要求された場合の処理フローを示している。リプレイ再生が要求されると、リプレイ再生用信号生成部17は、記憶部15からリプレイ時間に対応したエリアごとの音声信号を読み出す(S21)。
続いてリプレイ再生用信号生成部17は、リプレイ再生用の音声信号のミキシングを行う(S22)。リプレイ再生用にミキシングされた音声信号は、再生装置19へ出力されるか放送用信号として他の機器に出力される。
以上説明したように、本実施形態の音声信号処理装置10は、エリアごとの音声信号に基づいてエリアごとの信号処理順序を制御(設定)することで、重要度(優先度)の高いエリアに対して確実に音声処理を行いリアルタイム放送することができる。より詳しくは、音声信号処理部14における信号処理の処理量が所定量以上である場合、従来の手法では、リアルタイム再生時に音声が欠損する可能性があった。これに対し、本実施形態では、音声信号処理部14における信号処理の処理量が所定量以上である場合、リアルタイム再生に間に合う範囲で、処理順序が早い順に音声信号処理部14による信号処理を全部行って、音声信号を音声再生部に供給している。よって、重要度の高いエリアについてはすべての音声処理を行って、リアルタイム再生されるようにしている。
また、本実施形態では、リアルタイム再生時にはすべての音声処理が間に合わなかったエリア(重要度の低いエリア)に対しても、後にすべての音声処理を行うので、リプレイ再生時には、完全に音声処理された音声信号を使って再生音を生成できる。
なお、本実施形態においてマイクアレイ11はマイクロホンからなるとしたが、マイクロホンと反射板などの構造物との組み合わせからなってもよい。
またマイクアレイ11で使用するマイクロホンは、無指向性マイクロホンであってもよいし、指向性マイクロホンであってもよいし、それらの組み合わせでもよい。つまり、マイクアレイ11は、少なくとも1つの指向性マイクホンを含んでよい。
本実施形態において音源分離部12はビームフォーミングを用いてエリアごとの音声収音を行ったが、その他の音源分離の手法を用いてもよい。例えばエリアごとのパワースペクトル密度(PSD)を推定し、推定したPSDに基づいてウィナーフィルタによる分離を行ってもよい。PSDは、Power Spectral Densityの略である。
本実施形態において音声信号処理部14は、遅延補正処理、ゲイン補正処理およびエコー除去を行うとしたが、他の処理も行ってもよい。例えば、音声信号処理部14は、エリアごとの雑音除去処理などを行ってもよい。
また、上記した実施形態では、音声信号処理部14の処理量が所定量以上の場合、処理順序の遅いエリアについては一部の処理を行わないという説明をしたが、すべての処理を行わないようにしてもよい。
図1の構成ではマイクアレイ11が音声信号処理装置10に含まれているが、マイクアレイ11は音声信号処理装置10に含まれなくてもよい。その場合、音源分離部12は外部装置であるマイクアレイ11から音声信号を受け取る。
図1に示す機能ブロックの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、たとえば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからFPGA上に自動的に専用回路を生成すればよい。FPGAは、Field Programmable Gate Arrayの略である。また、FPGAと同様にしてGate Array回路を形成し、ハードウェアとして実現するようにしてもよい。さらに、ASIC(Application Specific Integrated Circuit)により実現するようにしてもよい。
実施形態1ではマイクアレイ11と音声信号処理部14とリアルタイム再生用信号生成部16とリプレイ再生用信号生成部17とが1つの装置10に含まれる構成を説明したが、本発明はこのような構成に限定されない。例えば、マイクアレイと音声信号処理部とを1つの装置に含むようにし、再生用信号生成部は当該装置から分離した構成(システム)でも実施することができる。また、マイクアレイは指向性マイクアレイを採用してもよい。指向性マイクアレイで収音した音声の音声信号は、直ちに、音声信号処理部で処理してもよい。このような構成を有する音声信号処理システムを、実施形態2として説明する。なお、実施形態1と同様な構成部には同じ参照符号を付ける。
図4は実施形態2の音声信号処理システム20の構成を示すブロック図である。音声信号処理システム20は、収音処理部20aと再生信号生成部20bとを有する。収音処理部20aと再生信号生成部20bは、有線もしくは無線で相互接続されており、互いに有線通信手段もしくは無線通信手段によってデータの送受信を行う。
収音処理部20aは、指向性マイクアレイ21、音声信号処理部22、伝送順序(送信順序)制御部23、送信部24および第1記憶部25を有する。第1記憶部25は未送信リストを保持している。収音処理部20aの各構成部は、バス18aにより相互接続されている。
音声信号処理部22は、実施形態1の音声信号処理部14のように遅延補正処理、ゲイン補正処理、雑音除去処理およびエコー除去処理などを行う。処理を行ったエリアごとの音声信号は、音声信号処理部22から伝送順序制御部23へ出力される。
送信部24は、伝送順序制御部23から入力されたエリアごとの音声信号を再生信号生成部20bへ順次送信する。再生信号生成部20bは音声再生部と称することができる。
再生信号生成部20bは、受信部26、リアルタイム再生用信号生成部27、第2記憶部28およびリプレイ再生用信号生成部29を有する。再生信号生成部20bの各構成部は、バス18bにより相互接続されている。
受信部26は、送信部24から出力された音声信号を受信し、音声信号をリアルタイム再生用信号生成部27および第2記憶部28へ出力する。
リアルタイム再生用信号生成部27、第2記憶部28およびリプレイ再生用信号生成部29は、実施形態1のリアルタイム再生用信号生成部16、記憶部15およびリプレイ再生用信号生成部17とほぼ同様の機能を有するので、説明を省略する。
次に、音声信号処理システム20の処理フローを、図5(A)から図5(C)を参照して説明する。
図5(A)に示すように、はじめに、指向性マイクアレイ21において空間内の音の収音が行われる(S31)。収音された各エリアの音声の音声信号は、指向性マイクアレイ21から音声信号処理部22へ出力される。
入力された音声信号に対して、音声信号処理部22は遅延補正などの処理を行う(S32)。処理された音声信号は、音声信号処理部22から伝送順序制御部23へ出力される。
また、伝送順序制御部23は、S33の非定常音検知の結果に応じて伝送順序を設定する(S34)。伝送順序制御部23は、例えば、非定常音が検知されたエリアについて伝送順序が早くなるよう(優先されるよう)にエリアごとの音声信号の伝送順序を設定する。
さらに、伝送順序制御部23は、処理済の音声信号の伝送がリアルタイム再生に間に合うかの判定(S35)を行う。より詳しくは、エリアごとの(に)順番が設定されたデータ(音声信号)について、伝送順序制御部23は、送信部24と受信部26との間の通信負荷状態に応じて、音声信号の伝送完了までの時間を推定し、リアルタイム再生に間に合うか否かを判定する。判定結果に基づいて、リアルタイム再生に間に合うと判定された場合、当該エリアの音声データ(音声信号)は伝送順序制御部23から送信部24へ出力される。そして、送信部24は、エリアの音声データを受信部26に送信する(S36)。
S38およびS39は、実施形態1のS17およびS18(図2)と同様のため、説明は省略する。
一方、S35において処理済の音声信号の伝送(音声信号送信)がリアルタイム再生に間に合わないと判定された場合、当該エリアの音声データ(音声信号)は、伝送順序制御部23から第1記憶部25へ出力され、第1記憶部25に記録される(S40)。音声データは、第1記憶部25において、処理フレーム番号(もしくは時間)、どのエリアの音であるか等が分かるように記録される。つまり第1記憶部25内で、音声データは所定の情報と紐づけられて記録(記憶)される。
伝送順序制御部23は、送信部24と受信部26との間の伝送負荷が所定量より小さくなると、第1記憶部25から未送信のエリアの音声信号の読み出しを行う(S41)。読み出しは、音声信号のフレーム番号の小さいものから行う。つまり、読み出しは、より古い時間の音声信号から行う。読み出された音声信号は、伝送順序制御部23から送信部24へ出力される。
S42はS36と同様のため説明を省略する。
S42の後、受信部26において音声データを受信する(S43)。受信した音声データは、受信部26から第2記憶部28に出力される。
S44はS39と同様のため説明を省略する。
リプレイ再生が要求された場合の処理フローは図5(C)に示されている。この処理フローのS51とS52は実施形態1のS21とS22(図2(C))と同様のため説明を省略する。
以上説明したように、実施形態2では、エリアごとの音声信号の非定常性(非定常音の発生頻度)に基づいて音声信号の伝送順序を制御・設定することで、より重要度の高いエリアに対して、確実に音声処理を行った音声信号でリアルタイム放送することができる。より詳しくは、送信部24から受信部26への信号送信量が所定量以上である場合、従来の手法ではリアルタイム再生時に音声が欠損する可能性がある。これに対し、本実施形態では、リアルタイム再生に間に合う範囲で、設定された送信順序に従って音声信号を送信部24から送信している。そして、送信順序が遅いエリアについては送信部24による送信を行わないようにしている。よって、重要度の高いエリア(送信順序が早いエリア)については、確実に音声信号が受信部26により受信されてリアルタイム再生用信号生成部27に届くようになっている。このように、実施形態2の信号処理システム20では、重要度の高い音声信号はリアルタイム再生に間に合うように音声再生部に送信される。
また、本実施形態では、リアルタイム再生には伝送(送信)が間に合わなかったエリア(重要度の低いエリア)に対しても、後に音声信号を受信部26に送信するので、リプレイ再生時には、すべてのエリアの音声信号音を使って再生音を生成できる。
なお、実施形態2ではエリアごとの音声の収音には指向性マイクアレイ21を用いたが、実施形態1のようにマイクアレイを用いて収音した後、音源分離を行ってもよい。また、無指向性のマイクロホンを、設定したエリアそれぞれの略中心に配置して音声を取得するようにしてもよい。
図4の構成では指向性マイクアレイ21が収音処理部20aに含まれているが、指向性マイクアレイ21は収音処理部20aに含まれなくてもよい。その場合、音声信号処理部22は外部装置である指向性マイクアレイ21から音声信号を受け取る。
実施形態1では音声信号のみを処理する音声信号処理装置を説明したが、本発明は音声信号と映像信号を処理するシステムでも実施することができる。音声信号処理と映像信号処理が可能なシステムを、撮影処理システムと称して、以下に説明する。なお、本実施形態の撮影処理システムは音声映像出力システムと称することもできる。また、実施形態1と同様な構成部には同じ参照符号を付ける。
図6は撮影処理システム30の構成を示すブロック図である。撮影処理システム30は、音声収音制御装置30aと映像撮影制御装置30bとを有する。音声収音制御装置30aと映像撮影制御装置30bは、バス18により相互接続されている。
音声収音制御装置30aは、マイクアレイ31、分離順序制御部32、音源分離部33、記憶部34、リアルタイム再生用信号生成部35、リプレイ再生用信号生成部36および分離状況表示部37を有する。音声収音制御装置30aの各構成部は、バス18により相互接続されている。
マイクアレイ31は実施形態1のマイクアレイ11と同様であるので、マイクアレイ31の説明は省略する。
音源分離部33は、分離順序制御部32から入力された処理順序に従って音源分離処理を行う。音源分離処理の内容は、実施形態1と同様であるため説明を省略する。本実施形態の音源分離部33は、さらに、音源分離処理の処理量(負荷状態)を監視し、指定された順序どおりにエリアの音声(音源)の分離処理を行い、全エリアの音源分離処理がリアルタイム再生に間に合うかを判定する。リアルタイム再生に間に合わないと判定した場合、音源分離部33は、一部の音声信号の音源分離処理を行わず、当該音声信号に関する情報を未分離リストとして分離順序制御部32へ出力する。より詳しくは、リアルタイム再生に間に合う範囲で、処理順序の早い順に(重要度の高い順に)音源分離処理を行い、処理順序の遅いエリアについては音源分離処理を行わない。未分離リストには音源分離処理しなかった音声信号のエリアや時間などの情報(時間情報は処理フレーム番号などの時間に対応する情報でもよい)が記録される。音源分離処理された音声信号は、音源分離部33からリアルタイム再生用信号生成部35および記憶部34へ出力される。
記憶部34は、マイクアレイ31に接続されており、マイクアレイ31が収音した全てのチャンネルの音声は、記憶部34に記録される。また記憶部34は、音源分離部33にも接続されており、音源分離部33で分離された音声信号はエリアおよび時間と対応づけられて記憶部34に記録される。
リプレイ再生用信号生成部36は、後述するリプレイ設定部44からの視点およびリプレイの開始時刻と終了時刻に応じて、記憶部34から該当する時間のエリアごとの分離音声信号を取得する。そして、リプレイ再生用信号生成部36は、当該分離音声信号をリプレイ再生音声信号として、再生装置19aに出力する。
タイムバー61は、現在までの録音時間を表すバーで、タイムカーソル62の位置が表示画面の時間を表す。分離終了割合表示63は、全エリア中何割のエリアの分離処理が終了しているか表示する。図7(A)の例ではエリアは40個あり、その中、20個のエリアの分離処理が終了しているため、分離終了割合表示63は50%となっている。全体エリア表示64は、対象としているエリア全体を示す。
全体エリア表示64内の小さな四角がエリア分割を表しており、分離処理が終わっていないエリアは白いエリア(未分離エリア)65として表示され、分離処理が終わっているエリアは黒いエリア(分離済みエリア)66として表示されている。未分離エリア65と分離済みエリア66は、違いが分かる形で表示する。
撮像部41は、複数のカメラ(図示せず)を有する。各カメラは、動画を撮影(撮像)することができる。撮像部41は、マイクアレイ31で収音する全てのエリア含む空間を撮像する。撮像した映像(画像)は、撮像部41から画像記憶部42へ出力される。
画像記憶部42は、記憶装置であり、撮影した全カメラ分の画像を記録(記憶)する。
リプレイ設定部44は、リプレイの開始時刻、リプレイの終了時刻、リプレイを放送する時刻、リプレイの映像視点などを設定する。リプレイ設定部44は、設定した情報に基づいて画像記憶部42から映像を読み出し、リプレイ映像出力として再生装置19aへ出力する。さらに、リプレイ設定部44は、設定した情報を分離順序制御部32およびリプレイ再生用信号生成部36へ出力する。
図8(A)と図8(B)は、本実施形態の撮影処理システム30の動作および処理を説明するフローチャートである。なお、以下の説明において、リアルタイム視点切替部43は、所定のタイミングで(S73)、撮像部41のカメラを切り替える(カメラは複数あり、現在使用しているカメラ以外のカメラを選択するという意)とする。
図8(A)に基づいて、リアルタイム再生を行う場合を説明する。
まず、マイクアレイ31において収音が行われ(S61)、撮像部41において撮像が行われる(S71)。マイクアレイ31を介して取得された音声データ(音声信号)は、記憶部34および音源分離部33へ出力される。撮像部41を介して取得された画像データ(画像信号)は、画像記憶部42、リアルタイム視点切替部43および分離順序制御部32へ出力される。
続いて、分離順序制御部32は、入力された画像データからエリアごとの音源となりうる被写体を検出する(S63)。分離順序制御部32は、例えば、顔認識技術やオブジェクト認識技術により被写体の検出を行う。
さらに分離順序制御部32は、S63において検出されたエリアごとの音源となりうる被写体の数に基づいて、音源分離の順序を設定する(S64)。つまり、本実施形態では、音源位置情報に基づいて音源分離の順序を設定している。設定された音源分離の順序は、分離順序制御部32から音源分離部33へ出力される。
S65において音源分離処理がリアルタイム再生に間に合うと判定されたエリアは、マイクアレイ31から入力された複数チャンネルの音声信号を用いて音源分離処理される(音源分離部33が、エリアの音声信号を分離して抽出する)(S66)。分離されたエリアの音声信号は、音源分離部33から記憶部34およびリアルタイム再生用信号生成部35へ出力される。
記憶部34は、S66で生成されたエリアの分離音声の音声信号を記録する(S67)。
リアルタイム再生用信号生成部35は、音源分離部33から入力されたエリアごとの分離音(音声信号)とリアルタイム視点切替部43から入力された視点情報とに基づいて、リアルタイム再生用の音声信号を生成する(S68)。S68におけるリアルタイム再生用の音声信号の生成は、図8ではリアルタイムレンダリングと記載した。
最後に、S68で生成されたリアルタイム再生用の音声信号とS73の視点切替により選択されたカメラの映像とが、再生装置19aに出力される(S69、S74)。
なお、S65においてリアルタイム再生に音源分離処理が間に合わないと判定されたエリアについては、未分離の時間情報とエリア情報が未分離リストに記録(追加)されることにより、未分離リストが生成される(S70)。
はじめにリプレイ設定部44においてリプレイの設定が行われる(S81)。設定されたリプレイ開始時刻、終了時刻、視点情報などは、リプレイ設定部44から分離順序制御部32とリプレイ再生用信号生成部36へ出力される。
続いて、分離順序制御部32は、未分離リストの確認を行う(S82)。分離順序制御部32は、未分離リストからリプレイ時間に含まれる未分離エリアの情報を抽出する。そして、分離順序制御部32は、抽出した未分離エリアの情報に基づいて、分離順序を再設定する(S83)。再設定された分離順序は、分離順序制御部32から音源分離部33へ出力される。その後、音源分離(S84)と記録(S85)が実行される。S84は図8(A)のS66と同様な処理であり、S85は図8(A)のS67と同様な処理であるので、詳細は省略する。
一方、リプレイ設定部44は、画像記憶部42から、リプレイ時間および視点(選択されているカメラ)に対応する映像(画像データ)を読み出す(S87)。
続いて、リプレイ再生用信号生成部36は、リプレイ再生用信号を生成する(S88)。S88におけるリプレイ再生用の音声信号の生成は、図8ではリプレイレンダリングと記載した。
最後に、S88で生成された音声信号は、リプレイ音声出力として、リプレイ再生用信号生成部36から再生装置19aに出力される(S89)。また、この音声信号と同期して、S87で読み出された映像データは、リプレイ設定部44からリプレイ映像出力として再生装置19aに出力される(S90)。
本実施形態によれば、音源位置情報に応じて音源分離の順序を設定することで、処理負荷によってすべてのエリアの音源分離がリアルタイム再生に間に合わない場合でも、音源(候補)のあるエリアの音声信号は優先的に音源分離され音声信号を取得できる。音源候補のあるエリアは、重要度の高いエリアである。したがって、本実施形態によれば、重要度の高いエリアの音声信号を欠くことなくリアルタイム音声再生を行うことができる。
なお、本実施形態において分離順序制御部32は撮像部41で撮像した映像を元に分離順序を制御したが、分離順序制御部32はその他の情報を元に分離順序を制御・設定してもよい。例えば、撮影処理システム30は、マイクアレイ31からエリアまでの距離を取得する距離取得部をさらに備えてもよい。そして、分離順序制御部32は、距離取得部が取得した距離に基づいて、分離順序を制御してもよい。マイクアレイ31から遠いエリアと近いエリアでは音声の伝搬にかかる時間が異なる。つまり、遠いエリアの音声は伝搬にかかる時間が長いので、遅延量が大きくなる。よって、通りエリアの音声については、分離処理を急ぐ必要がある。そこで、分離順序制御部32は、マイクアレイ31からの距離が遠いエリアほど処理のタイミングを早くするという設定をしてもよい。
本実施形態において記憶部34は、マイクアレイ31が収音した全てのチャンネルの音声の音声信号を記録したが、撮影時間やマイクロホンの数によっては音声信号の記録量が大きくなってしまう可能性がある。記録量があまり大きくなるのを防ぐために、記憶部34は、全エリアの分離処理が行われた時間に対応する音声信号を削除してもよい。
なお、分離状況表示部37による表示は、図7(A)や図7(B)のような表示に限定されず、処理の状態(分離状況)が分かるような表示であればよい。例えば、図7(C)のように、分離状況は、分離終了パーセント(分離終了割合表示)を縦軸とし、時間を横軸にしたグラフで示してもよい。図7(C)は、分離終了パーセントを時系列に折れ線グラフで表示したものであり、シンプルな形式で分離状況を示している。
図6に示した構成には、遅延補正、ゲイン補正、エコー除去等を行う音声信号処理部(図1の音声信号処理部14と同様な処理部)が含まれていないが、必要に応じて、例えば、音源分離部33と記憶部34の間に音声信号処理部を設けてもよい。
図6の構成ではマイクアレイ31が音声収音制御装置30aに含まれているが、マイクアレイ31は音声収音制御装置30aに含まれなくてもよい。その場合、音源分離部33は外部装置であるマイクアレイ31から音声信号を受け取る。
本発明は、上述の実施形態の1以上の機能を実現するプログラム(コンピュータプログラム)を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(たとえば、ASIC)によっても実現可能である。
Claims (19)
- 収音対象空間の音を収音することで生成される音データを取得する取得手段と、
前記収音対象空間内の複数のエリアの少なくとも1つの優先度を決定する決定手段と、
前記取得手段により取得された音データを処理することにより得られる処理済みデータであって前記複数のエリアそれぞれに対応する処理済みデータを出力する出力手段と、を有し、
前記出力手段は、前記複数のエリアそれぞれに対応する処理済みデータを得るための処理に係る処理時間が所定の閾値より長い場合に、前記取得手段により取得された音データに対して前記所定の閾値以下の処理時間の処理を行うことにより得られる第1の処理済みデータであって前記複数のエリアのうち前記決定手段により決定された優先度に基づいて選択された1以上のエリアに対応する前記第1の処理済みデータを出力した後に、前記取得手段により取得された音データを処理することにより得られる第2の処理済みデータであって前記複数のエリアのうち前記1以上のエリアとは異なるエリアを含む他の1以上のエリアに対応する前記第2の処理済みデータを出力することを特徴とする音データ処理装置。 - 前記第1の処理済みデータを得るための処理および前記第2の処理済みデータを得るための処理は、遅延補正処理、ゲイン補正処理およびエコー除去処理の少なくとも1つを含むことを特徴とする請求項1に記載の音データ処理装置。
- 前記第1の処理済みデータを得るための処理および前記第2の処理済みデータを得るための処理は、前記音データから特定のエリアの音を抽出する音源分離処理を含むことを特徴とする請求項1に記載の音データ処理装置。
- 前記収音対象空間の撮像画像を取得する第2の取得手段をさらに有し、
前記決定手段は、前記優先度を、前記第2の取得手段により取得された撮像画像内の所定の物体の位置に基づいて決定することを特徴とする請求項1乃至3の何れか1項に記載の音データ処理装置。 - 前記優先度は、前記所定の物体の位置を含まないエリアに比べて、前記所定の物体の位置を含むエリアに高い優先度が設定されるように決定されることを特徴とする請求項4に記載の音データ処理装置。
- 前記取得手段により取得された音データに基づく音と共に再生される画像に対応する視点情報を取得する第3の取得手段をさらに有し、
前記決定手段は、前記優先度を、前記第3の取得手段により取得された視点情報に基づいて決定することを特徴とする請求項1乃至3の何れか1項に記載の音データ処理装置。 - 前記優先度は、前記視点情報に対応する視点の位置を含まないエリアに比べて、前記視点情報に対応する視点の位置を含むエリアに高い優先度が設定されるように決定されることを特徴とする請求項6に記載の音データ処理装置。
- 前記優先度は、前記視点情報に対応する視線と物体との交点の位置を含まないエリアに比べて、前記視点情報に対応する視線と物体との交点の位置を含むエリアに高い優先度が設定されるように決定されることを特徴とする請求項6に記載の音データ処理装置。
- 前記取得手段により取得された音データに基づく再生音に対応する聴取点に関する情報を取得する第4の取得手段をさらに有し、
前記決定手段は、前記優先度を、前記第4の取得手段により取得された聴取点に関する情報に基づいて決定することを特徴とする請求項1乃至3の何れか1項に記載の音データ処理装置。 - 前記優先度は、前記聴取点の位置を含まないエリアに比べて、前記聴取点の位置を含むエリアに高い優先度が設定されるように決定されることを特徴とする請求項9に記載の音データ処理装置。
- 前記取得手段により取得された音データに基づいて、前記収音対象空間内における所定のイベントの発生位置を判定する判定手段をさらに有し、
前記決定手段は、前記優先度を、前記判定手段により判定された発生位置に基づいて決定することを特徴とする請求項1乃至3の何れか1項に記載の音データ処理装置。 - 前記優先度は、前記所定のイベントの発生位置を含まないエリアに比べて、前記所定のイベントの発生の位置を含むエリアに高い優先度が設定されるように決定されることを特徴とする請求項11に記載の音データ処理装置。
- 前記決定手段により決定された優先度に基づいて、前記複数のエリアの処理順序を設定する設定手段と、
前記設定手段により設定された前記処理順序に従って、前記複数のエリアそれぞれに対応する処理済みデータを得るための処理を実行する実行手段と、
をさらに有し、
前記出力手段は、前記実行手段により実行される処理に含まれる処理によって得られた前記第1の処理済みデータを出力することを特徴とする請求項1乃至12の何れか1項に記載の音データ処理装置。 - 前記決定手段は、前記取得手段により取得される音データを生成するために前記収音対象空間内の音を収音するマイクロホンの位置に基づいて前記優先度を決定することを特徴とする請求項1乃至13の何れか1項に記載の音データ処理装置。
- 前記出力手段により出力された前記第1の処理済みデータには、前記決定手段により決定された優先度に基づいて選択された前記1以上のエリアに対応する音のデータが含まれ、前記1以上のエリアとは異なるエリアに対応する音のデータは含まれないことを特徴とする請求項1乃至14の何れか1項に記載の音データ処理装置。
- 前記決定手段は、各エリアに対応する音量と各エリアに対応するマスキングの影響との少なくとも何れかに基づいて前記優先度を決定することを特徴とする請求項1乃至15の何れか1項に記載の音データ処理装置。
- 収音対象空間の音を収音することで生成される音データを取得する取得工程と、
前記収音対象空間内の複数のエリアの少なくとも1つの優先度を決定する決定工程と、
前記取得工程で取得された音データを処理することにより得られる処理済みデータであって前記複数のエリアそれぞれに対応する処理済みデータを出力する出力工程と、を有し、
前記出力工程においては、前記複数のエリアそれぞれに対応する処理済みデータを得るための処理に係る処理時間が所定の閾値より長い場合に、前記取得工程により取得された音データに対して前記所定の閾値以下の処理時間の処理を行うことにより得られる第1の処理済みデータであって前記複数のエリアのうち前記決定工程で決定された優先度に基づいて選択された1以上のエリアに対応する前記第1の処理済みデータが出力された後に、前記取得工程で取得された音データを処理することにより得られる第2の処理済みデータであって前記複数のエリアのうち前記1以上のエリアとは異なるエリアを含む他の1以上のエリアに対応する前記第2の処理済みデータが出力されることを特徴とする音データ処理方法。 - 前記第2の処理済みデータは、前記取得工程により取得された音データに対して前記所定の閾値より長い処理時間の処理を行うことにより得られることを特徴とする請求項17に記載の音データ処理方法。
- コンピュータを請求項1〜16の何れか1項に記載の音データ処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016126937A JP6818445B2 (ja) | 2016-06-27 | 2016-06-27 | 音データ処理装置および音データ処理方法 |
US15/630,723 US10219076B2 (en) | 2016-06-27 | 2017-06-22 | Audio signal processing device, audio signal processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016126937A JP6818445B2 (ja) | 2016-06-27 | 2016-06-27 | 音データ処理装置および音データ処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018006826A JP2018006826A (ja) | 2018-01-11 |
JP2018006826A5 JP2018006826A5 (ja) | 2019-08-08 |
JP6818445B2 true JP6818445B2 (ja) | 2021-01-20 |
Family
ID=60675123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016126937A Active JP6818445B2 (ja) | 2016-06-27 | 2016-06-27 | 音データ処理装置および音データ処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10219076B2 (ja) |
JP (1) | JP6818445B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109087661A (zh) * | 2018-10-23 | 2018-12-25 | 南昌努比亚技术有限公司 | 语音处理方法、装置、系统及可读存储介质 |
WO2021196042A1 (zh) * | 2020-03-31 | 2021-10-07 | 华为技术有限公司 | 一种音频去噪方法及装置 |
GB2601114A (en) * | 2020-11-11 | 2022-05-25 | Sony Interactive Entertainment Inc | Audio processing system and method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009139592A (ja) * | 2007-12-05 | 2009-06-25 | Sony Corp | 音声処理装置、音声処理システム及び音声処理プログラム |
JP5395822B2 (ja) | 2011-02-07 | 2014-01-22 | 日本電信電話株式会社 | ズームマイク装置 |
JP5482854B2 (ja) | 2012-09-28 | 2014-05-07 | 沖電気工業株式会社 | 収音装置及びプログラム |
US9460732B2 (en) * | 2013-02-13 | 2016-10-04 | Analog Devices, Inc. | Signal source separation |
GB2514184B (en) * | 2013-05-17 | 2016-05-04 | Canon Kk | Method for determining a direction of at least one sound source from an array of microphones |
-
2016
- 2016-06-27 JP JP2016126937A patent/JP6818445B2/ja active Active
-
2017
- 2017-06-22 US US15/630,723 patent/US10219076B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10219076B2 (en) | 2019-02-26 |
US20170374463A1 (en) | 2017-12-28 |
JP2018006826A (ja) | 2018-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10848889B2 (en) | Intelligent audio rendering for video recording | |
CN112165590B (zh) | 视频的录制实现方法、装置及电子设备 | |
CN104995681B (zh) | 多声道音频数据的视频分析辅助产生 | |
US10734029B2 (en) | Signal processing apparatus, signal processing method, and non-transitory computer-readable storage medium | |
JP4934580B2 (ja) | 映像音声記録装置および映像音声再生装置 | |
US10998870B2 (en) | Information processing apparatus, information processing method, and program | |
JP6818445B2 (ja) | 音データ処理装置および音データ処理方法 | |
JP2013093840A (ja) | ポータブル端末における立体データ生成装置及び方法並びに電子装置 | |
CN113676592A (zh) | 录音方法、装置、电子设备及计算机可读介质 | |
JP5868991B2 (ja) | 動画記録中の音声のオーディオ信号再生を向上させる方法およびアセンブリ | |
JP2011071685A (ja) | 映像音響処理システム、映像音響処理方法及びプログラム | |
CN113439447A (zh) | 使用深度学习图像分析的房间声学仿真 | |
JP4165615B2 (ja) | 画像表示装置、画像表示方法、プログラム、及び記録媒体 | |
CN112165591B (zh) | 一种音频数据的处理方法、装置及电子设备 | |
CN113225646B (zh) | 音视频监控方法、装置、电子设备及存储介质 | |
CN114531564A (zh) | 处理方法及电子设备 | |
US10511927B2 (en) | Sound system, control method of sound system, control apparatus, and storage medium | |
US20180115852A1 (en) | Signal processing apparatus, signal processing method, and storage medium | |
JP6732564B2 (ja) | 信号処理装置および信号処理方法 | |
JP2009239349A (ja) | 撮影装置 | |
JP6821390B2 (ja) | 音響処理装置、音響処理方法及びプログラム | |
JP2013183280A (ja) | 情報処理装置、撮像装置、及びプログラム | |
CN113542466A (zh) | 音频处理方法、电子设备及存储介质 | |
WO2010061791A1 (ja) | 映像制御装置およびそれを備えた撮像装置、表示装置 | |
EP3528509B1 (en) | Audio data arrangement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190627 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200629 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201228 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6818445 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |