JP6023779B2 - オーディオ情報処理の方法及び装置 - Google Patents

オーディオ情報処理の方法及び装置 Download PDF

Info

Publication number
JP6023779B2
JP6023779B2 JP2014244741A JP2014244741A JP6023779B2 JP 6023779 B2 JP6023779 B2 JP 6023779B2 JP 2014244741 A JP2014244741 A JP 2014244741A JP 2014244741 A JP2014244741 A JP 2014244741A JP 6023779 B2 JP6023779 B2 JP 6023779B2
Authority
JP
Japan
Prior art keywords
audio
audio information
camera
facing camera
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014244741A
Other languages
English (en)
Other versions
JP2015115952A (ja
Inventor
▲海▼▲ティン▼ 李
▲海▼▲ティン▼ 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2015115952A publication Critical patent/JP2015115952A/ja
Application granted granted Critical
Publication of JP6023779B2 publication Critical patent/JP6023779B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/03—Constructional features of telephone transmitters or receivers, e.g. telephone hand-sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6008—Substation equipment, e.g. for use by subscribers including speech amplifiers in the transmitter circuit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0096—Portable devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3264—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Description

本願は情報処理分野に関し、特に、オーディオ情報処理の方法及び装置に関する。
科学技術のたゆまぬ進歩に伴い、電子製品の機能の数はますます増加している。現在、圧倒的多数のポータブル電子デバイスはオーディオ情報収集機能を有し、収集されたオーディオ情報を出力することができる。携帯電話がその一例である。携帯電話を使用して電話をかける、及びビデオを録画するなどの動作を実行するとき、携帯電話のオーディオ情報収集機能が適用される。
しかしながら、従来技術では、電子デバイスを使用してオーディオ情報を収集するとき、基本的に、電子デバイスによって収集されたオーディオ情報は直接出力されるか、又はそれ以上処理されることなく保存されるため、電子デバイスによって収集されたオーディオ情報内の雑音又は干渉音源の音量が、ターゲット音源の音量よりも大きくなり得る。
例えば、携帯電話がビデオの録画に使用されるとき、撮影するユーザが携帯電話に近いため、録画されるビデオ内でユーザが発する音は、通常、撮影対象が発する音よりも大きく、これにより、電子デバイスによって収集されるオーディオ情報内で、ターゲット音源の音量が雑音又は干渉音源の音量よりも小さくなる。
本願の目的は、オーディオ収集ユニットによって収集されるオーディオ情報を処理することにより、音源の音量が雑音の音量よりも小さいという問題を解決することができる、オーディオ情報処理の方法及び装置を提供することである。
前述の目的を達成するために、本願は、以下の解決策を提供する。
本願の第１の態様の第１の可能な実装様式によると、本願はオーディオ情報処理の方法を提供し、該方法は電子デバイスに適用され、電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前向きカメラが第１のカメラであるとき、前向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、後ろ向きカメラが第１のカメラであるとき、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、該方法は、
第１のカメラを決定するステップと、
第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するステップと、
第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するステップと、
第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップであって、第３のオーディオ情報にとって、第１のカメラの撮影方向からの音声信号のゲインが第１のゲインであり、第３のオーディオ情報にとって、撮影方向の反対方向からの音声信号のゲインが第２のゲインであり、第１のゲインは第２のゲインよりも大きい、処理するステップと、
第３のオーディオ情報を出力するステップと、
を含む。
第１の態様の第２の可能な実装様式を参照して、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであり、第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップは、
差分アレイ処理技法を使用することによって、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報を処理するステップを含み、
差分アレイ処理技法を使用することによって処理するステップが実行された後、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームはカージオイドであり、
カージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じである。
第１の態様の第３の可能な実装様式を参照して、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであり、第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップは、
第１の処理モードにおいて、第４のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報を処理するステップと、
第２の処理モードにおいて、第５のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報を処理するステップと、を含み、
第１の処理モードにおいて、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームは第１のビームであり、
第２の処理モードにおいて、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームは第２のビームであり、第１のビーム及び第２のビームは異なる方向を有し、
事前に設定された重み付け係数に従って、第３のオーディオ情報を取得するために、第４のオーディオ情報及び第５のオーディオ情報を合成するステップをさらに含む。
第１の態様の第４の可能な実装様式を参照して、第１のオーディオ収集ユニットは無指向性オーディオ収集ユニットであり、第２のオーディオ収集ユニットはカージオイド・オーディオ収集ユニットであって、ここでカージオイドの最大値の方向は撮影方向の反対方向と同じであり、最小値の方向は撮影方向と同じであって、第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップは、
第１のオーディオ情報をターゲット信号として、及び第２のオーディオ情報を参照雑音信号として、使用するステップと、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報に関して雑音抑制処理を実行するステップと、を含む。
第１の態様の第５の可能な実装様式を参照して、第１のオーディオ収集ユニットは第１のカージオイド・オーディオ収集ユニットであり、第２のオーディオ収集ユニットは第２のカージオイド・オーディオ収集ユニットであって、ここで第１のカージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じであり、第２のカージオイドの最大値の方向は撮影方向の反対方向と同じであり、最小値の方向は撮影方向と同じであって、第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップは、
第１のオーディオ情報をターゲット信号として、及び第２のオーディオ情報を参照雑音信号として、使用するステップと、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報に関して雑音抑制処理を実行するステップと、を含む。
本願の第２の態様の第１の可能な実装様式によると、本願は別のオーディオ情報処理の方法を提供し、該方法は電子デバイスに適用され、電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前向きカメラが第１のカメラであるとき、前向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、後ろ向きカメラが第１のカメラであるとき、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、該方法は、
第１のカメラを決定するステップと、
第１のオーディオ収集ユニットを使用可能にするステップと、
第２のオーディオ収集ユニットを使用不可にするステップと、
第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するステップと、
第１のオーディオ情報を出力するステップと、
を含む。
本願の第３の態様の第１の可能な実装様式によると、本願はオーディオ情報処理装置を提供し、該装置は電子デバイスに適用され、電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前向きカメラが第１のカメラであるとき、前向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、後ろ向きカメラが第１のカメラであるとき、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、該装置は、
第１のカメラを決定するように構成された決定ユニットと、
第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するように構成され、
第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するようにさらに構成された、獲得ユニットと、
第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するように構成された、処理ユニットであって、第３のオーディオ情報にとって、第１のカメラの撮影方向からの音声信号のゲインが第１のゲインであり、第３のオーディオ情報にとって、撮影方向の反対方向からの音声信号のゲインが第２のゲインであり、第１のゲインは第２のゲインよりも大きい、処理ユニットと、
第３のオーディオ情報を出力するように構成された出力ユニットと、
を含む。
第３の態様の第２の可能な実装様式を参照して、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであり、処理ユニットは、
差分アレイ処理技法を使用することによって、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報を処理するように構成され、
差分アレイ処理技法を使用することによって処理するステップが実行された後、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームはカージオイドであり、
カージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じである。
第３の態様の第３の可能な実装様式を参照して、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであり、処理ユニットは、
第１の処理モードにおいて、第４のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報を処理し、
第２の処理モードにおいて、第５のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報を処理し、
第１の処理モードにおいて、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームは第１のビームであり、
第２の処理モードにおいて、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームは第２のビームであり、第１のビーム及び第２のビームは異なる方向を有し、
事前に設定された重み付け係数に従って、第３のオーディオ情報を取得するために、第４のオーディオ情報及び第５のオーディオ情報を合成するように構成される。
第３の態様の第４の可能な実装様式を参照して、第１のオーディオ収集ユニットは無指向性オーディオ収集ユニットであり、第２のオーディオ収集ユニットはカージオイド・オーディオ収集ユニットであって、ここでカージオイドの最大値の方向は撮影方向の反対方向と同じであり、最小値の方向は撮影方向と同じであって、処理ユニットは、
第１のオーディオ情報をターゲット信号として、及び第２のオーディオ情報を参照雑音信号として、使用し、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報に関して雑音抑制処理を実行するように構成される。
第３の態様の第５の可能な実装様式を参照して、第１のオーディオ収集ユニットは第１のカージオイド・オーディオ収集ユニットであり、第２のオーディオ収集ユニットは第２のカージオイド・オーディオ収集ユニットであって、ここで第１のカージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じであり、第２のカージオイドの最大値の方向は撮影方向の反対方向と同じであり、最小値の方向は撮影方向と同じであって、処理ユニットは、
第１のオーディオ情報をターゲット信号として、及び第２のオーディオ情報を参照雑音信号として、使用し、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報に関して雑音抑制処理を実行するように構成される。
本願の第４の態様の第１の可能な実装様式によると、本願は別のオーディオ情報処理装置を提供し、該装置は電子デバイスに適用され、電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前向きカメラが第１のカメラであるとき、前向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、後ろ向きカメラが第１のカメラであるとき、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、ここで、第１のオーディオ収集ユニットのビームはカージオイドであり、カージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じであり、該装置は、
第１のカメラを決定するように構成された決定ユニットと、
第１のオーディオ収集ユニットを使用可能にするように構成された、使用可能化ユニットと、
第２のオーディオ収集ユニットを使用不可にするように構成された、使用不可化ユニットと、
第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するように構成された、獲得ユニットと、
第１のオーディオ情報を出力するように構成された、出力ユニットと、
を含む。
本願の第５の態様の第１の可能な実装様式によると、本願は電子デバイスを提供し、電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前向きカメラが第１のカメラであるとき、前向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、後ろ向きカメラが第１のカメラであるとき、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、電子デバイスは、第３の態様及び第４の態様に従った任意のオーディオ情報処理装置をさらに含む。
本願の第６の態様の第１の可能な実装様式によると、本願は別の電子デバイスを提供し、該電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前向きカメラが第１のカメラであるとき、前向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、後ろ向きカメラが第１のカメラであるとき、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、ここで、第１のオーディオ収集ユニットのビームがカージオイドであり、カージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じであり、電子デバイスは、第４の態様に従ったオーディオ情報処理装置をさらに含む。
本願で提供される特定の実施形態に従い、本願は以下の技術的効果を開示する。
本願で開示されるオーディオ情報処理の方法又は装置に従い、第１のカメラが決定され、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットによって収集された情報は第３のオーディオ情報を取得するために処理され、ここで、第３のオーディオ情報にとって、カメラの撮影方向からの音声信号のゲインがより大きなゲイン値を備える第１のゲインであり、撮影方向の反対方向からの音声信号のゲインがより小さなゲイン値を備える第２のゲインであるため、電子デバイスがビデオ撮影用及びオーディオ収集用に同時に使用されるとき、ビデオ撮影方向のターゲット音源の音量を上昇させることができ、ビデオ撮影方向の反対方向の雑音又は干渉音源の音量を低下させることができ、したがって、同期して出力されるオーディオ情報において、最終ビデオ・イメージ内のターゲット音源の音量は、ビデオ・イメージ外の雑音又は干渉音源の音量よりも高い。
本願の実施形態又は従来技術における技術的解決策をより明確に説明するために、下記に、実施形態を説明するために必要な添付の図面を簡単に紹介する。明らかに、下記の説明における添付の図面は本願のいくつかの実施形態を単に示すものであり、当業者であれば、創造的努力無しにこれらの添付の図面からさらに他の図面を導出し得る。
本願に従った、オーディオ情報処理方法の実施形態１を示すフローチャートである。 本願に従った、オーディオ情報処理方法の実施形態２及び実施形態３における、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットのビーム方向性を示す概略図である。 本願に従った、オーディオ情報処理方法の実施形態２を示すフローチャートである。 本願に従った、オーディオ情報処理方法の実施形態２において差分アレイ処理技法が使用された後の、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビーム方向性を示す概略図である。 本願に従った、オーディオ情報処理方法の実施形態３を示すフローチャートである。 本願に従った、オーディオ情報処理方法の実施形態３において第１の処理モードが使用された後の、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体の第１のビームのビーム方向性を示す概略図である。 本願に従った、オーディオ情報処理方法の実施形態３において第２の処理モードが使用された後の、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体の第２のビームのビーム方向性を示す概略図である。 本願に従った、オーディオ情報処理方法の実施形態４における第１のオーディオ収集ユニットの第１のビーム方向性を示す概略図である。 本願に従った、オーディオ情報処理方法の実施形態４における第１のオーディオ収集ユニットの第２のビーム方向性を示す概略図である。 本願に従った、オーディオ情報処理方法の実施形態４における第２のオーディオ収集ユニットのビーム方向性を示す概略図である。 本願に従った、オーディオ情報処理方法の実施形態４を示すフローチャートである。 本願に従った、別のオーディオ情報処理方法の実施形態１を示すフローチャートである。 本願に従った、オーディオ情報処理装置の実施形態１を示すフローチャートである。 本願に従った、別のオーディオ情報処理装置の実施形態１を示す構造図である。 本願に従った、コンピューティング・ノードを示す構造図である。 本願の実施形態に従った、電子デバイスを示す正面概略構造図である。 本願の実施形態に従った、電子デバイスを示す背面概略構造図である。 本願の実施形態に従った、電子デバイスを示す正面概略構造図である。 本願の実施形態に従った、電子デバイスを示す背面概略構造図である。
下記は、本願の実施形態における添付の図面を参照して、本願の実施形態における技術的解決策を明確に説明する。明らかに、説明される実施形態は本願の実施形態のすべてではなく、単なる一部である。創造的な努力無しに本願の実施形態に基づいて当業者によって取得されるすべての他の実施形態は、本願の保護範囲内にある。
本願の前述の目的、特徴、及び利点をより明らかに且つより理解しやすくするために、以下で、添付の図面及び特定の実施形態を参照して、本願をより詳細に説明する。
本願のオーディオ情報処理方法が電子デバイスに適用され、ここで電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前向きカメラが配置された一方の側面上に少なくとも１つの第１のオーディオ収集ユニットが存在し、他方の側面上に少なくとも１つの第２のオーディオ収集ユニットが存在する。
電子デバイスは、携帯電話、タブレット・コンピュータ、デジタル・カメラ、デジタル・ビデオ・レコーダなどであり得る。第１のカメラは前向きカメラであり得、後ろ向きカメラでもあり得る。オーディオ収集ユニットはマイクロフォンであり得る。本願の電子デバイスは少なくとも２つのオーディオ収集ユニットを有する。前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前向きカメラが第１のカメラであるとき、前向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、後ろ向きカメラが第１のカメラであるとき、後ろ向きカメラが配置された側面上のオーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前向きカメラが配置された側面上のオーディオ収集ユニットは第２のオーディオ収集ユニットとして構成される。
図１は、本願に従ったオーディオ情報処理方法の実施形態１を示すフローチャートである。図１に示されるように、該方法は以下のステップを含み得る。
ステップ１０１：第１のカメラを決定するステップ。
一般に、電子デバイスのカメラは常に開始状態にある訳ではない。カメラを使用してイメージを撮影する必要があるとき、電子デバイスのカメラを開始し得る。
カメラが開始されると、カメラの回路の信号変化に従って、開始状態にあるカメラが前向きカメラであるか又は後ろ向きカメラであるかが決定され得る。確かに、前向きカメラ及び後ろ向きカメラは同時に開始状態にあり得る。
カメラの状態を示すために使用されるボタンも電子デバイス用に構成されうることに留意されたい。ユーザがボタンの操作を実行した後、カメラが開始状態にあることが決定され得る。いくつかの特殊な場合、ボタンの操作を実行した後、ユーザは必ずしもカメラを物理レベルで実際に開始せず、カメラの状態のみを切り替え得ることにさらに留意されたい。
電子デバイスが複数のカメラを有するとき、このステップにおいて、開始状態にあるカメラが第１のカメラであることが決定され得ることにさらに留意されたい。
例えば、電子デバイスは前向きカメラ及び後ろ向きカメラを有する。もし、前向きカメラが開始状態にあるならば、このステップにおいて、前向きカメラが第１のカメラであり、第１のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にあることが決定され得る。もし、後ろ向きカメラが開始状態にあるならば、このステップにおいて、後ろ向きカメラが第１のカメラであり、第１のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にあることが決定され得る。
もし、前向きカメラ及び後ろ向きカメラの両方が開始状態にあるならば、電子デバイスのすべてのオーディオ収集ユニットによってリアル・タイムで収集されたオーディオ情報について、本実施形態のオーディオ情報処理方法は、第１のカメラとして使用される前向きカメラを用いて１片の第３のオーディオ情報を取得するために、前向きカメラを第１のカメラとして使用することによって実行され得る一方で、本実施形態のオーディオ情報処理方法は、第１のカメラとして使用される後ろ向きカメラを用いて１片の第３のオーディオ情報を取得するために、後ろ向きカメラを第１のカメラとして使用することによって実行され、これら２片の第３のオーディオ情報は同時に出力される。前向きカメラが第１のカメラとして使用されるとき、第１のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にある。後ろ向きカメラが第１のカメラとして使用されるとき、第１のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にある。
ステップ１０２：第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するステップ。
第１のオーディオ収集ユニットの電源が投入され、適切に作動するとき、第１のオーディオ収集ユニットによって収集されたオーディオ情報が第１のオーディオ情報である。
ステップ１０３：第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するステップ。
第２のオーディオ収集ユニットの電源が投入され、適切に作動するとき、第２のオーディオ収集ユニットによって収集されたオーディオ情報が第２のオーディオ情報である。
ステップ１０４：第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップであり、ここで第３のオーディオ情報にとって、第１のカメラの撮影方向からの音声信号のゲインが第１のゲインであり、第３のオーディオ情報にとって、撮影方向の反対方向からの音声信号のゲインが第２のゲインであり、第１のゲインは第２のゲインよりも大きい、処理するステップ。
音声処理技法を使用することによって、異なる方向からのオーディオ情報に対して異なる調整が実行できるため、調整されたオーディオ情報は異なる方向に異なるゲインを有することになる。処理された後、より大きなゲインが存在する方向から収集されたオーディオ情報はより大きな音量を有し、処理された後、より小さなゲインが存在する方向から収集されたオーディオ情報はより小さな音量を有する。
カメラが前向きカメラであるとき、カメラの撮影方向は電子デバイスの前面が向いている方向である。カメラが後ろ向きカメラであるとき、カメラの撮影方向は電子デバイスの背面が向いている方向である。
カメラが撮影に使用されるとき、電子デバイスが収集する必要のある人の声などのオーディオ情報は、一般に撮影範囲から来る。したがって、カメラの撮影方向から来る音声信号のゲインは、より大きなゲイン値を備える第１のゲインとなるように調整され、これによって撮影範囲からのオーディオ情報の音量を大きくし、録音されることが予測される話者のオーディオの音量をより大きくすることができる。加えて、撮影方向の反対方向からの音声信号のゲインは、より小さなゲイン値を備える第２のゲインとなるように調整され、これによって非撮影範囲からのオーディオ情報の音量を抑制し、背景の雑音又は干渉音源の音量をより小さくすることができる。
ステップ１０５：第３のオーディオ情報を出力するステップ。
第３のオーディオ情報を出力することは、第３のオーディオ情報が格納用にビデオ・ファイルに出力されることであり得、ここでビデオ・ファイルは電子デバイスによって記録され、さらに、第３のオーディオ情報が直接出力され、直接のリアル・タイム再生用に電子デバイスと通信している電子デバイスに伝送されることであり得る。
結論として、本実施形態の方法に従い、第１のカメラが決定され、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットによって収集されたオーディオ情報は、第３のオーディオ情報を取得するために処理され、第３のオーディオ情報にとって、第１のカメラの撮影方向からの音声信号のゲインがより大きなゲイン値を備える第１のゲインであり、撮影方向の反対方向からの音声信号のゲインがより小さなゲイン値を備える第２のゲインであるため、電子デバイスがビデオ撮影用及びオーディオ収集用に同時に使用されるとき、ビデオ撮影方向の音源の音量を上昇させることができ、ビデオ撮影方向の反対方向の雑音又は干渉音源の音量を低下させることができ、したがって、同期して出力されるオーディオ情報において、最終ビデオ・イメージ内のターゲット音源の音量は、ビデオ・イメージ外の雑音又は干渉音源の音量よりも高い。
以下で、オーディオ収集ユニットの物理的属性及びオーディオ収集ユニットが電子デバイス内に配置される位置に関して、本願の方法を説明する。
図２は、本願に従った、オーディオ情報処理方法の実施形態２及び実施形態３における、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットのビーム方向性を示す概略図である。ビーム方向性の概略図において、座標軸なしの閉曲線がビームと呼ばれる。ビーム上の点と原点との間の距離が、オーディオ収集ユニットによってピックアップされる、その点と原点との接続線方向のオーディオのゲイン値を表す。
図２において、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が、無指向性オーディオ収集ユニットである。いわゆる「無指向性」とは、すべての方向からのオーディオ情報のピックアップされたゲインが同じであることを言い表す。
図３は、本願に従った、オーディオ情報処理方法の実施形態２を示すフローチャートである。図３に示されるように、該方法は以下のステップを含み得る。
ステップ３０１：開始状態にある第１のカメラを決定するステップ。
ステップ３０２：第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するステップ。
ステップ３０３：第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するステップ。
ステップ３０４：差分アレイ処理技法を使用することによって、第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップ。
差分アレイ処理技法が使用された後、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームはカージオイドであり、
カージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じである。
差分アレイ処理において、異なる構成角度での応答及びマイクロフォン間の位置関係に従って、差分ビームフォーマの重み付け係数を設計し、設計された重み付け係数を格納することが必要である。
Ｎはマイクロフォン・アレイに含まれるマイクロフォンの数であり、原則として、Ｍ個の角度において応答の程度が構成され得、ここでＭ≦Ｎであり、Ｍは正の整数であって、ｉ番目の角度はθｉであり、余弦関数の周期性に従い、θｉは任意の角度であり得る。もし、ｉ番目の角度での応答がβｉであり、ｉ＝１、２、．．．、Ｍであるならば、差分ビームフォーミング重み付け係数を設計するための方法を使用することによって重み付け係数を計算するための式は、以下のとおりである。
ｈ（ω）＝Ｄ−１（ω，θ）β
ステアリング・アレイＤ（ω，θ）の式は以下のとおりである。
（外１）
Figure 0006023779
ｄ（ω，ｃｏｓθｉ）＝［ｅ−ｉωτ１ｃｏｓθｉ ｅ−ｉωτ２ｃｏｓθｉ ．．．ｅ−ｉωτＮｃｏｓθｉ］Ｔ，ｉ＝１、２、．．．、Ｍ
応答行列βの式は以下のとおりである。
β＝［β１ β２ ．．． βＭ］Ｔ
式内の上付き文字−１は逆操作を示し、上付き文字Ｔは転置操作を示す。
（外２）
Figure 0006023779
上式で、ｋ＝１、２、．．．、Ｎであり、ｃは音速であって、一般に３４２ｍ／ｓ又は３４０ｍ／ｓであり得、ｄｋはｋ番目のマイクロフォンとアレイの構成された原点の位置との間の距離である。一般にアレイの原点の位置はアレイの幾何学的中心であり、アレイ内のマイクロフォン（例えば第１のマイクロフォン）の位置をも原点として使用し得る。
マイクロフォン・アレイに含まれるマイクロフォンの数が２つであるとき、差分ビームフォーミング重み付け係数の設計において、もし、撮影方向、すなわち最大応答ポイントとしてＺ軸の０°方向が使用されるならば、応答は１であり、もし、撮影方向の反対方向、すなわちゼロ・ポイントとしてＺ軸の１８０°方向が使用されるならば、応答は０である。この場合、ステアリング・アレイは以下のようになる。
（外３）
Figure 0006023779
そして、応答行列βはβ＝［１ ０］となる。第１のオーディオ及び第２のオーディオの情報が収集された後、第１のオーディオ及び第２のオーディオの情報は周波数ドメインに変換される。もし、周波数ドメインへの変換後の第１のオーディオがＸ１（ω）であり、周波数ドメインへの変換後の第２のオーディオがＸ２（ω）であると想定されるならば、Ｘ（ω）＝［Ｘ１（ω） Ｘ２（ω）］Ｔであり、差分アレイ処理の後、周波数ドメインにおける第３のオーディオＹ（ｋ）が取得され、ここでＹ（ω）＝ｈＴ（ω）Ｘ（ω）であり、時間ドメインにおける第３のオーディオは時間周波数変換後に取得される。
図４は、本願に従った、オーディオ情報処理方法の実施形態２において差分アレイ処理技法が使用された後の、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビーム方向性を示す概略図である。
図４において、Ｚ軸の０°方向は撮影方向であり、Ｚ軸の１８０°方向は撮影方向の反対方向である。カージオイド・ビームの最大値の方向は正確にＺ軸の０°方向であり、最小値の方向は正確にＺ軸の１８０°方向であることがわかる。
差分アレイ処理技法は、従来技術においてオーディオ収集ユニットのビーム方向性を調整するための方法であり、詳細は本明細書では繰り返し説明しない。
ステップ３０５：第３のオーディオ情報を出力するステップ。
結論として、処理用の特定の方法は、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであるとき、本実施形態では第３のオーディオ情報を取得するための第１のオーディオ情報及び第２のオーディオ情報が提供される。
図５は、本願に従った、オーディオ情報処理方法の実施形態３を示すフローチャートである。図５に示されるように、該方法は以下のステップを含み得る。
ステップ５０１：開始状態にある第１のカメラを決定するステップ。
ステップ５０２：第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するステップ。
ステップ５０３：第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するステップ。
ステップ５０４：第１の処理モードで、第４のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップ。
ステップ５０５：第２の処理モードで、第５のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するステップ。
第１の処理モードでは、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームは第１のビームであり、
第２の処理モードでは、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームは第２のビームであって、第１のビーム及び第２のビームは異なる方向を有する。
図６は、本願に従った、オーディオ情報処理方法の実施形態３において第１の処理モードが使用された後の、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体の第１のビームのビーム方向性を示す概略図である。
本実施形態において、音源の方向は依然としてＺ軸の０°方向である。図６では、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームの方向は、依然としてカージオイドである。しかしながら、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットが電子デバイス内に配置される位置により、カージオイドの最大値の方向は音源の方向を直接指せないが、音源の方向を伴う開先角度（ｉｎｃｌｕｄｅｄ ａｎｇｌｅ）を有する。図６において、開先角度は３０°である。確かに、特定の適用例では、開先角度は３０°に限定されず、別の角度であり得る。
図７は、本願に従った、オーディオ情報処理方法の実施形態３において第２の処理モードが使用された後の、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体の第２のビームのビーム方向性を示す概略図である。
図７において、第２のビームのビーム方向性はスーパー・カージオイドに近い。第２のビームの最大値の方向と音源の方向との間の開先角度も３０°であり、第１のビームの最大値の方向と音源の方向との間の開先角度と同じである。
ステップ５０６：事前に設定された重み付け係数を使用することによって、第３のオーディオ情報を取得するために、第４のオーディオ情報及び第５のオーディオ情報を合成するステップ。
第３のオーディオ情報は、以下の式を使用することによって合成し得る。
（外４）
Figure 0006023779
ｙ（ｎ）は合成された第３のオーディオ情報を示し、ＤＭＡｉ（ｎ）はｉ番目のビームが処理に採用された後に取得されたオーディオ情報を示し、Ｗ（ｉ）はｉ番目のビームが処理された後に取得されたオーディオ情報の事前に設定された重み付け係数であり、Ｎは採用されたビームの数を示し、ｎは入力されるオリジナルのオーディオ信号のサンプリング・ポイントを示す。
この実施形態では、オーディオ情報を処理するために２つの処理モードが使用され、形成されるビームの数は２であるため、Ｎ＝２である。事前に設定される重み付け係数は実際の状況に従って設定可能であり、図６及び図７のビーム方向性に従い、第４のオーディオ情報及び第５のオーディオ情報の両方の事前に設定された重み付け係数は、本実施形態では０．５であり得る。すなわち、第４のオーディオ情報及び第５のオーディオ情報は、第３のオーディオ情報を取得するために以下の式を使用することによって合成され得る。
（外５）
Figure 0006023779
ステップ５０７：第３のオーディオ情報を出力するステップ。
本実施形態において、第１のビーム、第２のビーム、及び事前に設定された重み付け係数の記述は、すべて例示であることに留意されたい。実際の適用では、複数の処理モードが使用され得、各処理モードにおけるビーム方向性も任意であり得、最終的に合成された第３のオーディオ情報の音源の方向のゲインが反対方向のゲインより大きい限り、事前に設定された重み付け係数も任意であり得る。
結論として、処理用の別の特定の方法は、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであるとき、本実施形態では第３のオーディオ情報を取得するための第１のオーディオ情報及び第２のオーディオ情報が提供される。
図８は、本願に従った、オーディオ情報処理方法の実施形態４における第１のオーディオ収集ユニットの第１のビーム方向性を示す概略図である。
図９は、本願に従った、オーディオ情報処理方法の実施形態４における第１のオーディオ収集ユニットの第２のビーム方向性を示す概略図である。
図１０は、本願に従った、オーディオ情報処理方法の実施形態４における第２のオーディオ収集ユニットのビーム方向性を示す概略図である。
図８から図１０に示されるように、第１のオーディオ収集ユニットは無指向性オーディオ収集ユニット又はカージオイド・オーディオ収集ユニットであり、第２のオーディオ収集ユニットはカージオイド・オーディオ収集ユニットである。
本実施形態において、第１のオーディオ収集ユニットのカージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じであって、第２のオーディオ収集ユニットのカージオイドの最大値の方向は撮影方向の反対方向と同じであり、最小値の方向は撮影方向と同じである。
図１１は、本願に従った、オーディオ情報処理方法の実施形態４を示すフローチャートである。図１１に示されるように、該方法は以下のステップを含み得る。
ステップ１１０１：開始状態にある第１のカメラを決定するステップ。
ステップ１１０２：第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するステップ。
ステップ１１０３：第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するステップ。
ステップ１１０４：第１のオーディオ情報をターゲット信号として、及び第２のオーディオ情報を参照雑音信号として使用し、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報に関して雑音抑制処理を実行する。
雑音抑制処理は、スペクトル減算に基づく雑音抑制方法であり得る。周波数ドメインに変換された後、参照雑音信号として使用される第２のオーディオ情報はスペクトル減算において雑音推定スペクトルとして直接使用され得るか、又は周波数ドメインに変換された後、参照雑音信号は事前に設定された係数によって乗算され、そして積が、スペクトル減算において雑音推定スペクトルとして使用される。周波数ドメインに変換された後、ターゲット信号として使用される第１のオーディオ情報は、雑音抑制信号スペクトルを取得するために雑音推定スペクトルが減算され、そして、雑音抑制信号スペクトルが時間ドメインに変換された後、第３のオーディオ情報が取得される。
雑音抑制処理は、適応フィルタリング・アルゴリズムに基づく雑音抑制方法でもあり得る。参照雑音信号は適応フィルタにおいて雑音参照チャネルとして使用され、ターゲット信号の雑音成分は、第３のオーディオ情報を取得するために、適応フィルタリング方法を使用することによってフィルタ除去される。
雑音抑制処理は、さらに以下のようであり得る。周波数ドメインに変換された後、参照雑音信号として使用される第２のオーディオ情報は、雑音スペクトル推定中に最小統計値として使用される。異なる周波数での雑音抑制ゲイン・ファクタは、統計値に基づく雑音抑制方法を使用することによって計算され、周波数ドメインに変換された後、ターゲット信号として使用される第１のオーディオ情報は、雑音抑制済み周波数スペクトルを取得するために、雑音抑制ゲイン・ファクタによって乗算され、次に雑音抑制済み周波数スペクトルが時間ドメインに変換された後、第３のオーディオ情報が取得される。
ステップ１１０５：第３のオーディオ情報を出力するステップ。
本実施形態において、第２のオーディオ収集ユニット自体がカージオイドであり、カージオイドにおいて、最大値の方向は撮影方向の反対方向と同じであるため、第２のオーディオ収集ユニットについて、撮影方向の反対方向からのオーディオ情報のゲイン値が最大である。言い換えれば、第２のオーディオ収集ユニットは雑音に対して非常に高い感度を有する。したがって、第１のオーディオ情報をターゲット信号として、第２のオーディオ情報を参照雑音信号として使用し得、第１のオーディオ情報及び第２のオーディオ情報に関して、第３のオーディオ情報を取得するために雑音抑制処理が実行され、そのため、同期的に出力されるオーディオ情報において、最終ビデオ・イメージ内の音源の音量はビデオ・イメージ外の雑音の音量よりも大きくなる。
異なるビデオ・イメージに対応するオーディオ情報の音量をビデオ・イメージの領域と一致させるために、本願の前述の実施形態では、第３のオーディオ情報を出力する前に、該方法は以下のステップをさらに含み得る。
ビデオ・イメージ全体において第１のカメラによって撮影されるビデオ・イメージの第１の割合を決定し、
音量全体における第３のオーディオ情報の音量の割合が第１の割合と同じになるように、第１の割合に従って、第３のオーディオ情報の音量を調整するステップ。
音量全体は、ビデオ・イメージ全体が再生されるときの音量である。
前述のステップを実行することによって、より小さなイメージ・サイズを伴うビデオ・イメージに対応するオーディオ信号の音量をより低くすることができ、より大きなイメージ・サイズを伴うビデオ・イメージに対応するオーディオ信号の音量をより高くすることができる。
本願は、別のオーディオ情報処理方法をさらに提供する。該方法は電子デバイスに適用され、電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、第１のカメラが配置された側面上に少なくとも１つの第１のオーディオ収集ユニットが存在し、他方の側面上に少なくとも１つの第２のオーディオ収集ユニットが存在し、第１のオーディオ収集ユニットのビームはカージオイドであり、カージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じである。
図１２は、本願に従った、別のオーディオ情報処理方法の実施形態１を示すフローチャートである。図１２に示されるように、該方法は以下のステップを含み得る。
ステップ１２０１：開始状態にある第１のカメラを決定するステップ。
ステップ１２０２：第１のオーディオ収集ユニットを使用可能にするステップ。
ステップ１２０３：第２のオーディオ収集ユニットを使用不可にするステップ。
ステップ１２０４：第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するステップ。
ステップ１２０５：第１のオーディオ情報を出力するステップ。
本実施形態において、第１のオーディオ収集ユニットのビームの最大値の方向が撮影方向と同じであるため、第１のオーディオ収集ユニット自体によって直接獲得されるオーディオ情報にとって、撮影方向からのオーディオ情報のゲインは、撮影方向の反対方向からのオーディオ情報のゲインよりも大きい。したがって、第１のオーディオ収集ユニットはオーディオ情報を収集するために直接使用し得、第２のオーディオ収集ユニットは使用不可であるため、第２のオーディオ収集ユニットが反対方向からの雑音を収集するのを防ぐことができる。最終的に、同期的に出力されるオーディオ情報において、形成されたビデオ・イメージ内のターゲット音源の音量を、ビデオ・イメージ外の雑音又は干渉音源の音量よりも高くすることもできる。
本願は、オーディオ情報処理装置をさらに提供する。該装置は電子デバイスに適用され、電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、第１のカメラが配置された側面上に少なくとも１つの第１のオーディオ収集ユニットが存在し、他方の側面上に少なくとも１つの第２のオーディオ収集ユニットが存在する。
電子デバイスは、携帯電話、タブレット・コンピュータ、デジタル・カメラ、又はデジタル・ビデオ・レコーダなどの、電子デバイスであり得る。カメラは前向きカメラであり得、後ろ向きカメラでもあり得る。オーディオ収集ユニットはマイクロフォンであり得る。本願の電子デバイスは少なくとも２つのオーディオ収集ユニットを有する。第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットは、電子デバイスの２つの側面上に別々に配置される。第１のカメラが前向きカメラであるとき、第１のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にある。第１のカメラが後ろ向きカメラであるとき、第１のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にある。
図１３は、本願に従った、オーディオ情報処理装置の実施形態１を示すフローチャートである。図１３に示されるように、該装置は、決定ユニット１３０１、獲得ユニット１３０２、処理ユニット１３０３、及び出力ユニット１３０４を含み得る。
決定ユニット１３０１は、開始状態にある第１のカメラを決定するように構成される。
一般に、電子デバイスのカメラは常に開始状態にある訳ではない。カメラを使用してイメージを撮影する必要があるとき、電子デバイスのカメラを開始し得る。
カメラが開始されるとき、カメラの回路の信号変化に従って、開始状態にあるカメラが前向きカメラであるか又は後ろ向きカメラであるかが決定され得る。確かに、前向きカメラ及び後ろ向きカメラは同時に開始状態にあり得る。
カメラの状態を示すために使用されるボタンが電子デバイス用にも構成され得ることに留意されたい。ユーザがボタンの操作を実行した後、カメラが開始状態にあることが決定されることができる。いくつかの特殊な場合、ボタンの操作を実行した後、ユーザは必ずしもカメラを物理レベルで実際に開始せず、カメラの状態のみを切り替え得ることにさらに留意されたい。
電子デバイスが複数のカメラを有するとき、ユニットは、開始状態にあるカメラが第１のカメラであることを決定し得ることに、さらに留意されたい。
例えば、電子デバイスは前向きカメラ及び後ろ向きカメラを有する。もし、前向きカメラが開始状態にあるならば、ユニットは、前向きカメラが第１のカメラであり、第１のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にあることを決定することができる。もし、後ろ向きカメラが開始状態にあるならば、ユニットは、後ろ向きカメラが第１のカメラであり、第１のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にあることを決定することができる。
もし、前向きカメラ及び後ろ向きカメラの両方が開始状態にあるならば、電子デバイスのすべてのオーディオ収集ユニットによってリアル・タイムで収集されたオーディオ情報について、本願のオーディオ情報処理方法は、第１のカメラとして使用される前向きカメラを用いて１片の第３のオーディオ情報を取得するために、前向きカメラを第１のカメラとして使用することによって実行され得る一方で、本願のオーディオ情報処理方法は、第１のカメラとして使用される後ろ向きカメラを用いて１片の第３のオーディオ情報を取得するために、後ろ向きカメラを第１のカメラとして使用することによって実行され、これら２片の第３のオーディオ情報は同時に出力される。前向きカメラが第１のカメラとして使用されるとき、第１のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にある。後ろ向きカメラが第１のカメラとして使用されるとき、第１のオーディオ収集ユニットは電子デバイスの後ろ向きカメラが配置された側面上にあり、第２のオーディオ収集ユニットは電子デバイスの前向きカメラが配置された側面上にある。
獲得ユニット１３０２は、第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するように構成され、
第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するようにさらに構成される。
第１のオーディオ収集ユニットの電源が投入され、適切に作動するとき、第１のオーディオ収集ユニットによって収集できるオーディオ情報が第１のオーディオ情報である。
第２のオーディオ収集ユニットの電源が投入され、適切に作動するとき、第２のオーディオ収集ユニットによって収集できるオーディオ情報が第２のオーディオ情報である。
処理ユニット１３０３は、第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するように構成され、ここで第３のオーディオ情報にとって、第１のカメラの撮影方向からの音声信号のゲインが第１のゲインであり、第３のオーディオ情報にとって、撮影方向の反対方向からの音声信号のゲインが第２のゲインであり、第１のゲインは第２のゲインよりも大きい。
音声処理技法を使用することによって、異なる方向からのオーディオ情報に対して異なる調整が実行できるため、調整されたオーディオ情報は異なる方向に異なるゲインを有することになる。処理された後、より大きなゲインが存在する方向から収集されたオーディオ情報はより大きな音量を有し、処理された後、より小さなゲインが存在する方向から収集されたオーディオ情報はより小さな音量を有する。
カメラが前向きカメラであるとき、カメラの撮影方向は電子デバイスの前面が向いている方向である。カメラが後ろ向きカメラであるとき、カメラの撮影方向は電子デバイスの背面が向いている方向である。
カメラが撮影に使用されるとき、電子デバイスが収集する必要のある人の声などのオーディオ情報は、一般に撮影範囲から来る。したがって、カメラの撮影方向から来る音声信号のゲインは、より大きなゲイン値を備える第１のゲインとなるように調整され、これによって撮影範囲からのオーディオ情報の音量を大きくし、録音されることが予測される話者のオーディオの音量をより大きくすることができる。加えて、撮影方向の反対方向からの音声信号のゲインは、より小さなゲイン値を備える第２のゲインとなるように調整され、これによって非撮影範囲からのオーディオ情報の音量を抑制し、背景の雑音又は干渉音源の音量をより小さくすることができる。
出力ユニット１３０４は、第３のオーディオ情報を出力するように構成される。
第３のオーディオ情報を出力することは、第３のオーディオ情報が格納用にビデオ・ファイルに出力されることであり得、ここでビデオ・ファイルは電子デバイスによって記録され、さらに、第３のオーディオ情報が直接出力され、直接のリアル・タイム再生用に電子デバイスと通信している電子デバイスに伝送されることであり得る。
結論として、本実施形態の方法に従い、第１のカメラが決定され、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットによって収集されたオーディオ情報は、第３のオーディオ情報を取得するために処理され、第３のオーディオ情報にとって、カメラの撮影方向からの音声信号のゲインがより大きなゲイン値を備える第１のゲインであり、撮影方向の反対方向からの音声信号のゲインがより小さなゲイン値を備える第２のゲインであるため、電子デバイスがビデオ撮影用及びオーディオ収集用に同時に使用されるとき、ビデオ撮影方向のターゲット音源の音量を上昇させることができ、ビデオ撮影方向の反対方向の雑音及び干渉音源の音量を低下させることができ、したがって、同期して出力されるオーディオ情報において、最終ビデオ・イメージ内の音源の音量は、ビデオ・イメージ外の雑音又は干渉音源の音量よりも高い。
実際の適用では、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであるとき、処理ユニット１３０３は、
差分アレイ処理技法を使用することによって、第３のオーディオ情報を取得するために第１のオーディオ情報及び第２のオーディオ情報を処理するように、
構成され得る。
差分アレイ処理技法が使用された後、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームはカージオイドであり、
カージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じである。
実際の適用において、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであるとき、処理ユニット１３０３は、
第１の処理モードにおいて、第４のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報を処理し、
第２の処理モードにおいて、第５のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報を処理し、
第１の処理モードにおいて、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームは第１のビームであり、
第２の処理モードにおいて、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットを含む収集ユニット全体のビームは第２のビームであり、第１のビーム及び第２のビームは異なる方向を有し、
事前に設定された重み付け係数を使用することによって、第３のオーディオ情報を取得するために、第４のオーディオ情報及び第５のオーディオ情報を合成するようにさらに構成され得る。
実際の適用において、第１のオーディオ収集ユニットが無指向性オーディオ収集ユニットであり、第２のオーディオ収集ユニットがカージオイド・オーディオ収集ユニットであって、ここでカージオイドの最大値の方向は撮影方向の反対方向と同じであり、最小値の方向は撮影方向と同じであるとき、処理ユニット１３０３は、
第１のオーディオ情報をターゲット信号として、及び第２のオーディオ情報を参照雑音信号として、使用し、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報に関して雑音抑制処理を実行するように構成され得る。
実際の適用において、第１のオーディオ収集ユニットが第１のカージオイド・オーディオ収集ユニットであり、第２のオーディオ収集ユニットが第２のカージオイド・オーディオ収集ユニットであり、第１のカージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じであり、第２のカージオイドの最大値の方向は撮影方向の反対方向と同じであり、最小値の方向は撮影方向と同じであるとき、処理ユニット１３０３は、
第１のオーディオ情報をターゲット信号として、及び第２のオーディオ情報を参照雑音信号として、使用し、第３のオーディオ情報を取得するために、第１のオーディオ情報及び第２のオーディオ情報に関して雑音抑制処理を実行するように構成され得る。
実際の適用において、決定ユニット１３０１は、
第３のオーディオ情報が出力される前に、ビデオ・イメージ全体において、第１のカメラによって撮影されるビデオ・イメージの第１の割合を決定するように、
さらに構成され得る。
処理ユニット１３０３は、音量全体における第３のオーディオ情報の音量の割合が第１の割合と同じになるように、第１の割合に従って、第３のオーディオ情報の音量を調整するように、さらに構成される。
音量全体は、ビデオ・イメージ全体が再生されるときの音量である。
本願は、別のオーディオ情報処理装置をさらに提供する。該装置は電子デバイスに適用され、電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前向きカメラ及び後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、第１のカメラが配置された側面上に少なくとも１つの第１のオーディオ収集ユニットが存在し、他方の側面上に少なくとも１つの第２のオーディオ収集ユニットが存在し、第１のオーディオ収集ユニットのビームはカージオイドであり、カージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じである。
図１４は、本願に従った、別のオーディオ情報処理装置の実施形態１を示す構造図である。図１４に示されるように、該装置は、
開始状態にある第１のカメラを決定するように構成された、決定ユニット１４０１と、
第１のオーディオ収集ユニットを使用可能にするように構成された、使用可能化ユニット１４０２と、
第２のオーディオ収集ユニットを使用不可にするように構成された、使用不可化ユニット１４０３と、
第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するように構成された、獲得ユニット１４０４と、
第１のオーディオ情報を出力するように構成された、出力ユニット１４０５と、
を含み得る。
本実施形態において、第１のオーディオ収集ユニットのビームの最大値の方向が撮影方向と同じであるため、第１のオーディオ収集ユニット自体によって直接獲得されるオーディオ情報にとって、撮影方向からのオーディオ情報のゲインは、撮影方向の反対方向からのオーディオ情報のゲインよりも大きい。したがって、第１のオーディオ収集ユニットはオーディオ情報を収集するために直接使用され得、第２のオーディオ収集ユニットは使用不可であるため、第２のオーディオ収集ユニットが反対方向からの雑音を収集するのを防ぐことができる。最終的に、同期的に出力されるオーディオ情報において、形成されたビデオ・イメージ内のターゲット音源の音量を、ビデオ・イメージ外の雑音又は干渉音源の音量よりも高くすることができる。
加えて、本願の実施形態はコンピューティング・ノードをさらに提供し、該コンピューティング・ノードは、コンピューティング機能を有するホスト・サーバ、パーソナル・コンピュータＰＣ、ポータブル・コンピュータ又は端末などであり得る。本願の特定の実施形態は、コンピューティング・ノードの特定の実装にいかなる制限をも課すものではない。
図１５は、本願に従った、コンピューティング・ノードを示す構造図である。図１５に示されるように、コンピューティング・ノード７００は、
プロセッサ（ｐｒｏｃｅｓｓｏｒ）７１０、通信インターフェイス（Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｉｎｔｅｒｆａｃｅ）７２０、メモリ（ｍｅｍｏｒｙ）７３０、及びバス７４０
を含む。
プロセッサ７１０、通信インターフェース７２０、及びメモリ７３０は、バス７４０を使用することによって相互通信を達成する。
プロセッサ７１０はプログラム７３２を実行するように構成される。
プログラム７３２はプログラム・コードを含み得、プログラム・コードはコンピュータ動作命令を含む。
プロセッサ７１０は中央処理ユニットＣＰＵ、又は特定用途向け集積回路ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又は、本願の本実施形態を実装するように構成された１以上の集積回路であり得る。
メモリ７３０はプログラム７３２を格納するように構成される。メモリ７３０は高速ＲＡＭメモリを含み得、不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば少なくとも１つのディスク・メモリをも含み得る。
プログラム７３２内のモジュールの特定の実装については、図１２及び図１３に示される実施形態における対応するモジュール又はユニットを参照されたい。詳細は本明細書では繰り返し説明されない。
本願は、電子デバイスをさらに提供する。該電子デバイスは、携帯電話などの端末であり得る。図１６は、本願に従った電子デバイス実施形態を示す正面概略構造図である。図１７は、本願に従った電子デバイス実施形態を示す背面概略構造図である。図１６及び図１７に示されるように、電子デバイス１６０１は少なくとも前向きカメラ１６０２及び後ろ向きカメラ１６０４を有し、前向きカメラ１６０２及び後ろ向きカメラ１６０４からの開始状態にあるカメラが第１のカメラであり、前向きカメラ１６０２が配置された側面上に少なくとも１つのオーディオ収集ユニット１６０３が存在し、後ろ向きカメラ１６０４が配置された側面上に少なくとも１つのオーディオ収集ユニット１６０５が存在し、前向きカメラ１６０２が第１のカメラであるとき、前向きカメラ１６０２が配置された側面上のオーディオ収集ユニット１６０３は第１のオーディオ収集ユニットとして構成され、後ろ向きカメラ１６０４が配置された側面上のオーディオ収集ユニット１６０５は第２のオーディオ収集ユニットとして構成され、後ろ向きカメラ１６０４が第１のカメラであるとき、後ろ向きカメラ１６０４が配置された側面上のオーディオ収集ユニット１６０５は第１のオーディオ収集ユニットとして構成され、前向きカメラ１６０２が配置された側面上のオーディオ収集ユニット１６０３は第２のオーディオ収集ユニットとして構成され、電子デバイスは、図１３に示された（図１６及び図１７には図示せず）オーディオ情報処理装置をさらに含む。
結論として、本願の電子デバイスに従い、第１のカメラが決定され、第１のオーディオ収集ユニット及び第２のオーディオ収集ユニットによって収集されたオーディオ情報は、第３のオーディオ情報を取得するために処理され、第３のオーディオ情報にとって、カメラの撮影方向からの音声信号のゲインがより大きなゲイン値を備える第１のゲインであり、撮影方向の反対方向からの音声信号のゲインがより小さなゲイン値を備える第２のゲインであるため、電子デバイスがビデオ撮影用及びオーディオ収集用に同時に使用されるとき、ビデオ撮影方向のターゲット音源の音量を上昇させることができ、ビデオ撮影方向の反対方向の雑音又は干渉音源の音量を低下させることができ、したがって、同期して出力されるオーディオ情報において、最終ビデオ・イメージ内の音源の音量は、ビデオ・イメージ外の雑音又は干渉音源の音量よりも高い。
本願は、別の電子デバイスをさらに提供する。電子デバイスは携帯電話などの端末であり得る。図１８は、本願に従った電子デバイス実施形態を示す正面概略構造図である。図１９は、本願に従った電子デバイス実施形態を示す背面概略構造図である。図１８及び図１９に示されるように、電子デバイス１８０１は少なくとも前向きカメラ１８０２及び後ろ向きカメラ１８０４を有し、前向きカメラ１８０２及び後ろ向きカメラ１８０４からの開始状態にあるカメラが第１のカメラであり、前向きカメラ１８０２が配置された側面上に少なくとも１つのオーディオ収集ユニット１８０３が存在し、後ろ向きカメラ１８０４が配置された側面上に少なくとも１つのオーディオ収集ユニット１８０５が存在し、前向きカメラ１８０２が第１のカメラであるとき、前向きカメラ１８０２が配置された側面上のオーディオ収集ユニット１８０３は第１のオーディオ収集ユニットとして構成され、後ろ向きカメラ１８０４が配置された側面上のオーディオ収集ユニット１８０５は第２のオーディオ収集ユニットとして構成され、後ろ向きカメラ１８０４が第１のカメラであるとき、後ろ向きカメラ１８０４が配置された側面上のオーディオ収集ユニット１８０５は第１のオーディオ収集ユニットとして構成され、前向きカメラ１８０２が配置された側面上のオーディオ収集ユニット１８０３は第２のオーディオ収集ユニットとして構成され、電子デバイスは、図１４に示された（図１８及び図１９には図示せず）オーディオ情報処理装置をさらに含む。
第１のオーディオ収集ユニットのビームはカージオイドであり、カージオイドの最大値の方向は撮影方向と同じであり、最小値の方向は撮影方向の反対方向と同じである。
本実施形態において、第１のオーディオ収集ユニットのビームの最大値の方向が撮影方向と同じであるため、第１のオーディオ収集ユニット自体によって直接獲得されるオーディオ情報にとって、撮影方向からのオーディオ情報のゲインは、撮影方向の反対方向からのオーディオ情報のゲインよりも大きい。したがって、第１のオーディオ収集ユニットはオーディオ情報を収集するために直接使用され得、第２のオーディオ収集ユニットは使用不可であるため、第２のオーディオ収集ユニットが反対方向からの雑音を収集するのを防ぐ。最終的に、同期的に出力されるオーディオ情報において、形成されたビデオ・イメージ内のターゲット音源の音量を、ビデオ・イメージ外の雑音又は干渉音源の音量より高くすることもできる。
最後に、本明細書において、第１及び第２などの関係語は、１つのエンティティ又は動作を別のそれらと区別するためにのみ使用されるものであり、いずれかの実際の関係又はシーケンスがこれらのエンティティ又は動作間に存在することを必要とするか又は示唆するものではないことに、さらに留意されたい。さらに、用語「含む」、「備える」、又はそれらの任意の他の変形は、非排他的包含をカバーすることを意図するため、要素のリストを含むプロセス、方法、物品、又は装置は、それらの要素を含むのみならず、明示的に列挙されていない他の要素も含むか、又は、かかるプロセス、方法、物品、若しくは装置につきものの要素をさらに含む。「〜を含む」が先行する要素は、それ以上の制約なしに、要素を含むプロセス、方法、物品、又は装置における追加の同一の要素の存在を排除しない。
当業者は、実施形態の前述の説明に基づき、本願が必要なハードウェア・プラットフォーム並びにソフトウェアによって、又はハードウェアのみによって、実装可能であることを明確に理解し得る。ほとんどの状況において、前者は好ましい実装様式である。かかる理解に基づき、背景部分の技術に寄与する本願の技術的解決策のすべて又は一部は、ソフトウェア製品の形で実装し得る。コンピュータ・ソフトウェア製品は、ＲＯＭ／ＲＡＭ、磁気ディスク、又は光ディスクなどの記憶媒体内に格納され得、本願の実施形態又は実施形態のいくつかの部分で説明された方法を実行するよう、コンピュータ・デバイス（パーソナル・コンピュータ、サーバ、ネットワーク・デバイスなどであり得る）に命令するための、いくつかの命令を含む。
本明細書の実施形態はすべて漸進的に説明されており、実施形態内の同一又は同様の部分について、これらの実施形態を参照し得、各実施形態は他の実施形態との相違にフォーカスしている。実施形態で開示された装置は、実施形態で開示された方法に対応しているため比較的簡単に説明されており、それらの方法に関係する部分については、方法の説明を参照し得る。
本明細書では、本願の原理及び実装様式を説明するために特定の例が使用される。前述の実施形態は、本願の方法及び核となる概念を理解する一助となることのみが意図されている。加えて、当業者は、実装方法及び適用範囲に関して本願の概念に従って修正し得る。したがって本明細書の内容は、本願に対する制限と解釈されてはならない。

Claims (3)

  1. オーディオ情報処理の方法であって、当該方法は電子デバイスに適用され、前記電子デバイスは少なくとも１つの前向きカメラ及び１つの後ろ向きカメラを有し、前記前向きカメラ及び前記後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前記前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前記後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前記前向きカメラが前記第１のカメラであるときは、前記前向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前記後ろ向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、前記後ろ向きカメラが前記第１のカメラであるときは、前記後ろ向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前記前向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、当該方法は、
    前記第１のカメラを決定するステップと、
    前記第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するステップと、
    前記第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するステップと、
    第３のオーディオ情報を取得するために前記第１のオーディオ情報及び前記第２のオーディオ情報を処理するステップであって、前記第３のオーディオ情報にとって、前記第１のカメラの撮影方向からの音声信号のゲインが第１のゲインであり、前記第３のオーディオ情報にとって、前記撮影方向の反対方向からの音声信号のゲインが第２のゲインであり、前記第１のゲインは前記第２のゲインよりも大きい、処理するステップと、
    前記第３のオーディオ情報を出力するステップと、
    を含み、
    前記第１のオーディオ収集ユニット及び前記第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであり、第３のオーディオ情報を取得するために前記第１のオーディオ情報及び前記第２のオーディオ情報を処理する前記ステップは、
    第１の処理モードにおいて、第４のオーディオ情報を取得するために、前記第１のオーディオ情報及び前記第２のオーディオ情報を処理するステップと、
    第２の処理モードにおいて、第５のオーディオ情報を取得するために、前記第１のオーディオ情報及び前記第２のオーディオ情報を処理するステップと、を含み、
    前記第１の処理モードにおいて、前記第１のオーディオ収集ユニット及び前記第２のオーディオ収集ユニットを備える収集ユニット全体のビームは第１のビームであり、
    前記第２の処理モードにおいて、前記第１のオーディオ収集ユニット及び前記第２のオーディオ収集ユニットを備える収集ユニット全体のビームは第２のビームであり、前記第１のビーム及び前記第２のビームは異なる方向を有し、
    事前に設定された重み付け係数に従って、前記第３のオーディオ情報を取得するために、前記第４のオーディオ情報及び前記第５のオーディオ情報を合成するステップを含む、方法。
  2. オーディオ情報処理の装置であって、当該装置は電子デバイスに適用され、前記電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前記前向きカメラ及び前記後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前記前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前記後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前記前向きカメラが前記第１のカメラであるときは、前記前向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前記後ろ向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、前記後ろ向きカメラが前記第１のカメラであるときは、前記後ろ向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前記前向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、当該装置は、
    前記第１のカメラを決定するように構成された決定ユニットと、
    前記第１のオーディオ収集ユニットによって収集された第１のオーディオ情報を獲得するように構成され、
    前記第２のオーディオ収集ユニットによって収集された第２のオーディオ情報を獲得するようにさらに構成された、獲得ユニットと、
    第３のオーディオ情報を取得するために前記第１のオーディオ情報及び前記第２のオーディオ情報を処理するように構成された、処理ユニットであって、前記第３のオーディオ情報にとって、前記第１のカメラの撮影方向からの音声信号のゲインが第１のゲインであり、前記第３のオーディオ情報にとって、前記撮影方向の反対方向からの音声信号のゲインが第２のゲインであり、前記第１のゲインは前記第２のゲインよりも大きい、処理ユニットと、
    前記第３のオーディオ情報を出力するように構成された出力ユニットと、
    を備え、
    前記第１のオーディオ収集ユニット及び前記第２のオーディオ収集ユニットの両方が無指向性オーディオ収集ユニットであり、前記処理ユニットは、
    第１の処理モードにおいて、第４のオーディオ情報を取得するために、前記第１のオーディオ情報及び前記第２のオーディオ情報を処理し、
    第２の処理モードにおいて、第５のオーディオ情報を取得するために、前記第１のオーディオ情報及び前記第２のオーディオ情報を処理し、
    前記第１の処理モードにおいて、前記第１のオーディオ収集ユニット及び前記第２のオーディオ収集ユニットを備える収集ユニット全体のビームは第１のビームであり、
    前記第２の処理モードにおいて、前記第１のオーディオ収集ユニット及び前記第２のオーディオ収集ユニットを備える収集ユニット全体のビームは第２のビームであり、前記第１のビーム及び前記第２のビームは異なる方向を有し、
    事前に設定された重み付け係数に従って、前記第３のオーディオ情報を取得するために、前記第４のオーディオ情報及び前記第５のオーディオ情報を合成する、ように構成された、
    装置。
  3. 電子デバイスであって、当該電子デバイスは少なくとも前向きカメラ及び後ろ向きカメラを有し、前記前向きカメラ及び前記後ろ向きカメラからの開始状態にあるカメラが第１のカメラであり、前記前向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前記後ろ向きカメラが配置された側面上に少なくとも１つのオーディオ収集ユニットが存在し、前記前向きカメラが前記第１のカメラであるときは、前記前向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前記後ろ向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、前記後ろ向きカメラが前記第１のカメラであるときは、前記後ろ向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第１のオーディオ収集ユニットとして構成され、前記前向きカメラが配置された前記側面上の前記オーディオ収集ユニットは第２のオーディオ収集ユニットとして構成され、請求項２に記載された前記オーディオ情報処理の装置をさらに備える、電子デバイス。
JP2014244741A 2013-12-06 2014-12-03 オーディオ情報処理の方法及び装置 Expired - Fee Related JP6023779B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310656703.5 2013-12-06
CN201310656703.5A CN104699445A (zh) 2013-12-06 2013-12-06 一种音频信息处理方法及装置

Publications (2)

Publication Number Publication Date
JP2015115952A JP2015115952A (ja) 2015-06-22
JP6023779B2 true JP6023779B2 (ja) 2016-11-09

Family

ID=51999217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014244741A Expired - Fee Related JP6023779B2 (ja) 2013-12-06 2014-12-03 オーディオ情報処理の方法及び装置

Country Status (5)

Country Link
US (1) US20150163587A1 (ja)
EP (1) EP2882170B1 (ja)
JP (1) JP6023779B2 (ja)
KR (1) KR20150066455A (ja)
CN (1) CN104699445A (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102262853B1 (ko) * 2014-09-01 2021-06-10 삼성전자주식회사 복수의 마이크를 포함하는 전자 장치 및 이의 운용 방법
CN106294331B (zh) 2015-05-11 2020-01-21 阿里巴巴集团控股有限公司 音频信息检索方法及装置
KR102339798B1 (ko) * 2015-08-21 2021-12-15 삼성전자주식회사 전자 장치의 음향 처리 방법 및 그 전자 장치
CN108073381A (zh) * 2016-11-15 2018-05-25 腾讯科技（深圳）有限公司 一种对象控制方法、装置及终端设备
CN108880696B (zh) * 2017-05-12 2022-04-15 中兴通讯股份有限公司 频率配置握手方法及系统、终端及计算机可读存储介质
CN109036448B (zh) * 2017-06-12 2020-04-14 华为技术有限公司 一种声音处理方法和装置
CN108076300B (zh) * 2017-12-15 2020-07-07 Oppo广东移动通信有限公司 录像处理方法、录像处理装置及移动终端
CN109327749A (zh) * 2018-08-16 2019-02-12 深圳市派虎科技有限公司 麦克风及其控制方法和降噪方法
US20200244896A1 (en) * 2018-08-17 2020-07-30 Gregory Walker Johnson Tablet with camera's
CN110072174B (zh) * 2019-05-21 2021-01-29 北京京海鸣电子技术研究所 音量自适应播放机
CN113365013A (zh) * 2020-03-06 2021-09-07 华为技术有限公司 一种音频处理方法及设备
CN113747047B (zh) * 2020-05-30 2023-10-13 华为技术有限公司 一种视频播放的方法及设备
WO2022000174A1 (zh) * 2020-06-29 2022-01-06 深圳市大疆创新科技有限公司 音频处理方法、音频处理装置、电子设备
CN111916094B (zh) * 2020-07-10 2024-02-23 瑞声新能源发展(常州)有限公司科教城分公司 音频信号处理方法、装置、设备及可读介质
CN111916102A (zh) * 2020-07-31 2020-11-10 维沃移动通信有限公司 电子设备的录音方法及录音装置
CN113556501A (zh) * 2020-08-26 2021-10-26 华为技术有限公司 音频处理方法及电子设备
CN114338965B (zh) 2020-09-30 2023-05-23 荣耀终端有限公司 音频处理的方法及电子设备
CN112637529B (zh) * 2020-12-18 2023-06-02 Oppo广东移动通信有限公司 一种录像处理方法、装置、存储介质及电子设备
CN113329138A (zh) * 2021-06-03 2021-08-31 维沃移动通信有限公司 视频拍摄方法、视频播放方法和电子设备
CN113573120B (zh) * 2021-06-16 2023-10-27 北京荣耀终端有限公司 音频的处理方法及电子设备、芯片系统及存储介质
CN113395451B (zh) * 2021-06-22 2023-04-18 Oppo广东移动通信有限公司 视频拍摄方法、装置、电子设备以及存储介质
US11838652B2 (en) 2021-07-15 2023-12-05 Samsung Electronics Co., Ltd. Method for storing image and electronic device supporting the same
CN115914517A (zh) * 2021-08-12 2023-04-04 北京荣耀终端有限公司 一种声音信号处理方法及电子设备
KR20230054158A (ko) * 2021-10-15 2023-04-24 삼성전자주식회사 오디오 레코딩을 위한 전자 장치 및 그 동작 방법
CN116055869B (zh) * 2022-05-30 2023-10-20 荣耀终端有限公司 一种视频处理方法和终端

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004304560A (ja) * 2003-03-31 2004-10-28 Fujitsu Ltd 電子装置
JP2008512888A (ja) * 2004-09-07 2008-04-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 改善した雑音抑圧を有する電話装置
US8451312B2 (en) * 2010-01-06 2013-05-28 Apple Inc. Automatic video stream selection
US8300845B2 (en) * 2010-06-23 2012-10-30 Motorola Mobility Llc Electronic apparatus having microphones with controllable front-side gain and rear-side gain
US9274744B2 (en) * 2010-09-10 2016-03-01 Amazon Technologies, Inc. Relative position-inclusive device interfaces
JP5273162B2 (ja) * 2011-01-11 2013-08-28 ヤマハ株式会社 集音装置
JP5738218B2 (ja) * 2012-02-28 2015-06-17 日本電信電話株式会社 音響信号強調装置、遠近判定装置、それらの方法、及びプログラム

Also Published As

Publication number Publication date
JP2015115952A (ja) 2015-06-22
KR20150066455A (ko) 2015-06-16
US20150163587A1 (en) 2015-06-11
CN104699445A (zh) 2015-06-10
EP2882170B1 (en) 2017-01-11
EP2882170A1 (en) 2015-06-10

Similar Documents

Publication Publication Date Title
JP6023779B2 (ja) オーディオ情報処理の方法及び装置
CN107534725B (zh) 一种语音信号处理方法及装置
CN109036448B (zh) 一种声音处理方法和装置
US9922663B2 (en) Voice signal processing method and apparatus
KR102305066B1 (ko) 사운드 처리 방법 및 장치
CN106157986B (zh) 一种信息处理方法及装置、电子设备
JP6703525B2 (ja) 音源を強調するための方法及び機器
CN110970057B (zh) 一种声音处理方法、装置与设备
KR101490007B1 (ko) 제어 가능한 전면 이득 및 후면 이득을 갖는 마이크로폰을 구비한 전자 장치
US8229129B2 (en) Method, medium, and apparatus for extracting target sound from mixed sound
US20150022636A1 (en) Method and system for voice capture using face detection in noisy environments
KR20090024963A (ko) 억제 폭 조절을 통한 사운드 줌 방법 및 장치
JP2017517948A5 (ja)
WO2014101429A1 (zh) 一种终端双麦克风降噪的方法及装置
CN112351248B (zh) 一种关联图像数据和声音数据的处理方法
WO2017152601A1 (zh) 一种麦克风确定方法和终端
CN106205630A (zh) 视频摄录系统中降低马达振动噪声的系统
JP5190859B2 (ja) 音源分離装置、音源分離方法、音源分離プログラム及び記録媒体
WO2015135416A1 (zh) 音效处理方法和摄像装置
US20090034753A1 (en) Direction detection apparatus, direction detection method and direction detection program, and direction control apparatus, direction control method, and direction control program
JP2006237816A (ja) 演算装置、収音装置、及び、信号処理プログラム
CN113923294B (zh) 音频变焦的方法、装置、折叠屏设备及存储介质
CN115942108A (zh) 一种视频处理方法及电子设备
WO2019003716A1 (ja) 集音装置、指向性制御装置及び指向性制御方法
CN115914517A (zh) 一种声音信号处理方法及电子设备

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161007

R150 Certificate of patent or registration of utility model

Ref document number: 6023779

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees