JP7396029B2 - 録音再生装置 - Google Patents

録音再生装置 Download PDF

Info

Publication number
JP7396029B2
JP7396029B2 JP2019231627A JP2019231627A JP7396029B2 JP 7396029 B2 JP7396029 B2 JP 7396029B2 JP 2019231627 A JP2019231627 A JP 2019231627A JP 2019231627 A JP2019231627 A JP 2019231627A JP 7396029 B2 JP7396029 B2 JP 7396029B2
Authority
JP
Japan
Prior art keywords
recording
audio data
directivity control
directivity
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019231627A
Other languages
English (en)
Other versions
JP2021100209A (ja
Inventor
進 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Teac Corp
Original Assignee
Teac Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Teac Corp filed Critical Teac Corp
Priority to JP2019231627A priority Critical patent/JP7396029B2/ja
Priority to EP20214374.9A priority patent/EP3843423A1/en
Priority to US17/126,190 priority patent/US11418872B2/en
Priority to CN202011529123.6A priority patent/CN113096693B/zh
Publication of JP2021100209A publication Critical patent/JP2021100209A/ja
Application granted granted Critical
Publication of JP7396029B2 publication Critical patent/JP7396029B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02Control of operating function, e.g. switching from recording to reproducing
    • G11B19/022Control panels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • G11B2020/10592Audio or video recording specifically adapted for recording or reproducing multichannel signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23Direction finding using a sum-delay beam-former

Description

本発明は、録音再生装置に関する。
従来から、会議や講演会用、あるいは語学学習用等に音声を録音して再生する録音再生装置が開発されている。
特許文献1には、マイクアレイ装置により収音された音声を用いて所定方向の音声を強調処理した後に音声の音量を調整し、強調処理の前後における音量の大きな差異の発生を抑制し、ユーザへの利便性を向上させる技術が記載されている。
特許文献2には、複数のマイクからなるマイクロホンアレイと、マイクロホンアレイを構成する個々のマイクロホンからの入力音響信号を、マイクロホン毎に保持する複数の保持手段と、位置情報を入力する入力手段と、保持された複数チャンネルの音響信号を用いて取得位置方向へ音響的なフォーカスを行うフォーカス手段を備える技術が記載されている。
特許第6202277号 特開2004-180197号公報
会議や講演会等で音声を録音する際に、指向性を制御して録音することが望ましいが、指向性を誤って制御してしまう場合や、当初狙った方向とは異なる方向の音声を後から再生したい場合もある。特に、後者の場合では、再生時にユーザが録音時の指向性方向とは別に所望の指向性の方向を選択でき、選択した指向性の方向にフォーカスされた音声を聞きたいと欲する場合が少なくない。
本発明の目的は、録音時においてユーザが指向性方向を任意に選択してオーディオデータを録音でき、かつ再生時においてユーザが録音時の指向性方向とは別に所望の指向性の方向を選択してオーディオデータを再生し得る装置を提供することにある。
本発明は、複数のマイクロホンと、指向性の方向を指定するための操作手段と、前記複数のマイクロホンで収音したオーディオ信号に対して、録音時に前記操作手段で指定された第1方向に強調処理する第1指向性制御手段と、前記第1指向性制御手段で処理された指向性制御処理後オーディオデータ、及び前記指向性制御手段で処理される前の指向性制御処理前オーディオデータをメモリに記録する記録手段と、前記メモリに記録された前記指向性制御処理後オーディオデータと、前記指向性制御処理前オーディオデータを読み出す読出手段と、前記指向性制御処理前オーディオデータが読み出された場合に、読み出された指向性制御処理前オーディオデータに対して、再生時に前記操作手段で指定された、前記第1方向とは異なる第2方向に強調処理する第2指向性制御手段と、読み出された前記指向性制御処理後オーディオデータと、前記第2指向性制御手段で処理されたオーディオデータを選択的に再生する再生手段とを備える録音再生装置である。
本発明の1つの実施形態では、前記指向性制御処理後オーディオデータは、エフェクト処理がなされたオーディオデータであり、前記指向性制御処理前オーディオデータは、前記エフェクト処理がなされていないオーディオデータである。
本発明の他の実施形態では、前記再生手段は、前記第2指向性制御手段で処理されたオーディオデータを、前記指向性制御処理後オーディオデータのエフェクト処理に用いられるパラメータでエフェクト処理する。
本発明のさらに他の実施形態では、前記指向性制御処理前オーディオデータは、アンビソニックのA-FormatデータあるいはB-Formatデータである。
本発明のさらに他の実施形態では、前記操作手段は、円環形状のタッチパネルと、前記タッチパネルのいずれかの位置がタッチ操作された場合に、放射状に点灯するLED群とを備える。また、前記読出手段と前記第2指向性制御手段との間に、再生音声の音程を維持したまま再生スピードを可変とする可変手段(VSA)をさらに備えてもよい。
また、本発明は、複数のマイクロホンと、指向性の方向を指定するためのタッチパネルと、前記複数のマイクロホンで収音したオーディオ信号を処理してオーディオデータとしてメモリに記録する録音モジュールと、前記メモリに記録されたオーディオデータを再生して出力する再生モジュールを備えたデジタルシグナルプロセッサと、を備え、前記録音モジュールは、前記オーディオ信号に対して前記タッチパネルで指定された第1方向に指向性を制御し、さらにエフェクト処理を施したオーディオデータを指向性制御処理後データとして前記メモリに記録し、かつ、前記指向性を制御せず、さらにエフェクト処理を施していないオーディオデータを指向性制御処理前データとして前記メモリに前記指向性制御処理後データと関連付けて自動的に記録し、前記再生モジュールは、前記メモリに記録された前記指向性制御処理後データを再生出力し、かつ、ユーザからの切替操作に応じ、前記メモリに記録された前記指向性制御処理前データに対して再生時に前記タッチパネルで指定された、前記第1方向とは異なる第2方向に指向性を制御し、さらにエフェクト処理を施して切替再生出力する録音再生装置である。
本発明によれば、録音時においてユーザが指向性方向を任意に選択してオーディオデータを録音でき、かつ再生時においてユーザが録音時の指向性方向とは別に所望の指向性の方向を選択してオーディオデータを再生することができる。
実施形態の録音再生装置のある方向から見た斜視図である。 実施形態の録音装置の別の方向から見た斜視図である。 実施形態の録音再生装置の模式的平面図である。 実施形態の録音再生装置の機能ブロック図である。 実施形態の録音再生装置の回路構成図である。 実施形態の録音時の処理フローチャートである。 実施形態の再生時の処理フローチャートである。 他の実施形態の回路構成図である。
以下、図面に基づき本発明の実施形態について説明する。
<基本原理>
まず、本実施形態の基本原理について説明する。
本実施形態の録音再生装置は、複数のマイクロホンで収音した音声等のオーディオ信号のデータ(オーディオデータ)をメモリに記録して録音する際に、指向性制御後のオーディオデータと、指向性制御前のオーディオデータをともにメモリに記録する。ここで、指向性制御後のオーディオデータとは、オーディオ信号に対して特定の方向への指向性が形成された状態のオーディオデータを意味する。ユーザは、操作手段を操作することで所望の指向性方向を指定することができる。指向性制御手段は、複数のマイクロホンで収音されたオーディオ信号に対し、ユーザにより指定された指向性の方向を強調処理することで指向性制御後のオーディオデータを出力する。指向性制御自体は公知であり、例えば遅延和方式により特定の方向へ強調処理する。また、指向性制御前のオーディオデータとは、オーディオ信号に対して特定の方向への指向性が形成されていない状態のオーディオデータを意味する。指向性制御前のオーディオデータには、指向性制御処理が全く施されていない「生の(RAW)」オーディオデータの他、ある程度の処理は施されているものの特定の方向への指向性までは施されていない中間状態のオーディオデータが含まれる。
アンビソニックは3次元空間の360度全ての音声を録音再生できる技術で、A-FormatとB-Formatがある。A-Formatは、複数のマイクロホンが収音する音そのもののオーディオデータフォーマットであり、このオーディオデータに変換処理を施すことでB-Formatのオーディオデータが得られる。B-Formatのオーディオデータは、4個の音声トラックから構成される4チャンネルオーディオデータであり、それぞれのチャンネルはW,X,Y,Zと呼ばれる。これらW,X,Y,Zのチャンネルは、それぞれ以下のデータから構成される。
Wチャンネル:無指向成分
Xチャンネル:前後の広がり成分
Yチャンネル:左右の広がり成分
Zチャンネル:上下の広がり成分
本実施形態における指向性制御前のオーディオデータには、A-FormatのオーディオデータとB-Formatのオーディオデータのいずれも含まれ得る。
他方、録音したオーディオデータを再生する際に、ユーザは、メモリに記録された指向性制御後のオーディオデータと、指向性制御前のオーディオデータを選択し得る。ユーザが指向性制御後のオーディオデータを選択した場合、当該指向性制御後のオーディオデータがメモリから読み出され、再生されてスピーカ等から音声出力される。再生出力される音声は、録音時にユーザにより指定された方向に強調処理された音声である。ユーザが指向性制御前のオーディオデータを選択した場合、当該指向性制御前のオーディオデータがメモリから読み出され、再生時においてユーザにより指定された指向性の方向を強調処理し、再生されてスピーカ等から音声出力される。再生出力される音声は、録音時とは別に、再生時にユーザにより指定された方向に強調処理された音声である。ユーザは、再生時において、操作手段を操作することで任意の指向性の方向を指定することができる。従って、あるタイミングでは第1の方向を指向性方向に指定して再生し、次のタイミングでは第1の方向と異なる第2の方向を指向性方向に指定して再生し、さらに別のタイミングでは第1、第2の方向と異なる第3の方向を指向性方向に指定して再生することができる。本実施形態では、再生時において録音時とは異なる指向性方向をリアルタイムで指定して再生し、再生音声をモニタすることが可能である。なお、再生時にユーザが指向性制御前のオーディオデータを選択した場合、選択されてから指向性制御前のオーディオデータを読み出すのではなく、指向性制御後のオーディオデータと指向性制御前のオーディオデータを並行して読み出してもよい。
具体的には、ある会議での音声を録音するものとする。録音時には、録音再生装置の配置位置を基準として第1の方向に指向性を設定して録音する。このとき、メモリには第1の方向に指向性制御された指向性制御後のオーディオデータと、指向性制御前のオーディオデータがともに記録される。
再生時に、ユーザはまず指向性制御後のオーディオデータを選択して再生する。このとき、第1の方向に指向性制御されているので、第1の方向に強調処理された音声が再生される。他方で、ユーザは再生時において第1の方向と異なる方向である第2の方向の音声を再生したいと欲する場合、指向性制御前のオーディオデータを選択し、操作手段を操作して第2の方向を指定する。すると、録音再生装置は、指向性制御前のオーディオデータに対して第2の方向の指向性制御処理を施し、第2の方向に強調処理された音声が再生される。さらに、ユーザは再生時において第1、第2の方向と異なる第3の方向の音声を再生したいと欲する場合、指向性制御前のオーディオデータを選択し、操作手段を操作して第3の方向を指定する。すると、録音再生装置は、指向性制御前のオーディオデータに対して第3の方向の指向性制御処理を施し、第3の方向に強調処理された音声が再生される。
なお、本実施形態において、指向性制御前のオーディオデータをメモリに記録するのは、指向性制御後のオーディオデータに対して、新たに指向性制御処理を施すことができないからである。すなわち、本実施形態における指向性制御前のオーディオデータは、単に、指向性制御後のオーディオデータが何らかの理由で破損した場合のバックアップデータとして機能するのではなく、録音時とは別に指向性制御を施すためのベースとなるオーディオデータとしての技術的意義がある。
<構成>
次に、本実施形態における録音再生装置の構成について説明する。
図1A及び図1Bは、本実施形態における録音再生装置10の斜視図を示す。図1Aは、ある方向から見た斜視図であり、図1Bは図1Aと異なる方向(反対方向)から見た斜視図である。
録音再生装置10は、外観形状が略円柱状をなし、上部にはタッチパネル12が設けられ、複数のマイクロホン14(14a、14b、14c、14d)が内蔵される。下部は基台11として底面が会議室のテーブル面等に載置される。
上部のタッチパネル12は、略円形状をなし、各種の状態が表示される。各種の状態には、ステレオ、360度、フォーカス、ボリューム等が含まれる。ここで、360度は、無指向性状態を示し、フォーカスは、指向性状態を示す。また、タッチパネル12の外側円環部には、中心から外側に向けて放射状にLED群が配置される。
タッチパネル12は、本実施形態における操作手段として機能する。ユーザは、所望の指向性の方向を指定する際には、外側円環部の任意の位置をタッチする。ユーザによるタッチ操作は、下部の基台に設けられた信号処理部で検出される。より詳細には、タッチパネル12内に実装されたマイコンでタッチ操作を検出して検出信号を基台11の信号処理部に出力し、信号処理部で当該検出信号を受信して処理するが、本実施形態では、タッチパネル12に実装されたマイコンも含めて信号処理部でタッチ操作を検出するものとして説明する。
下部の基台11には、電源スイッチ、録音スイッチ、再生スイッチ、停止スイッチ等の各種操作スイッチ、メニューボタン、エンターボタン等の各種操作ボタンが設けられる。また、USBコネクタやイヤホンジャック、メモリスロット等の各種コネクタも設けられる。メモリスロットは、例えばSDメモリを装着するスロットであるが、これに限定されず、任意の記録媒体が用いられ得る。さらに、下部の基台には、複数のマイクロホンで収音されたオーディオ信号を処理する信号処理部が設けられる。
ユーザは、会議室のテーブル等に録音再生装置10を載置し、電源スイッチをオンして録音再生装置10を起動する。そして、録音スイッチをオンして録音を開始する。無指向状態で録音する場合、ユーザはタッチパネル12の外側円環部にタッチすることなく、デフォルト状態を維持する。録音再生装置10は、デフォルト状態では複数のマイクロホン14(14a、14b、14c、14d)で収音したオーディオデータに対し、指向性制御処理を施すことなくメモリに記録する。このとき、無指向状態であることを示す「360度」のLEDが点灯する。
他方、ユーザが特定の方向の音声を強調したい、例えば会議において特定の方向に位置する話者の音声を強調したいと欲する場合、ユーザは、録音再生装置10の載置位置を基準とした当該方向に対応するタッチパネル12の外側円環部をタッチする。信号処理部は、ユーザの当該タッチを検知し、タッチ方向の指向性制御を施してメモリに記録する。ユーザが外側円環部をタッチすると、タッチした位置のLED群が点灯することで指向性方向が視認できる。
図2は、ユーザがタッチパネル12の外側円環部をタッチ操作する場合を模式的に示す。複数のマイクロホン14として、4つのマイクロホン14a,14b,14c,14dが録音再生装置10の上部に内蔵される。4つのマイクロホン14a,14b,14c,14dの配置位置は、正三角形の頂点位置及び重心位置であるが、これに限定されない。4つのマイクロホン14a,14b,14c,14dのいずれかを高域用、その他を中低域用としてもよい。4つのマイクロホン14a,14b,14c,14dは、例えば無指向性のコンデンサマイクロホンで構成されるが、これに限定されない。
ユーザが、タッチパネル12の外側円環部の特定部位を指100でタッチすると、信号処理部はこのタッチ操作を検知し、タッチ位置に配置された放射線状のLED群13を点灯させる。そして、タッチ方向を指向性の方向として4つのマイクロホン14a,14b,14c,14dで収音したオーディオデータの指向性制御処理を施す。ユーザが指100で別の位置をタッチすると、信号処理部はこのタッチ操作を検知し、タッチ位置に配置された放射線状の別のLED群を点灯させる。そして、タッチ方向を指向性の方向として4つのマイクロホン14a,14b,14c,14dで収音したオーディオデータの指向性制御処理を施す。放射状に配置されたLED群を点灯することで、録音再生装置10を操作するユーザのみならず、それ以外の会議等の参加者もいまどの方向に指向性が制御されているかを容易に視認し得る。
図3は、本実施形態における録音再生装置10の機能ブロック図を示す。録音再生装置10は、タッチパネル12と、4つのマイクロホン14a,14b,14c,14dと、信号処理部16と、記録再生部22を備える。なお、これ以外にも電源スイッチや録音スイッチ、USBコネクタ等の各種スイッチやボタン、コネクタ、インターフェイスが設けられているが、これらについては図示を省略する。
信号処理部16は、録音モジュール18と再生モジュール20を備える。録音モジュール18は、A/D変換部、ビームフォーミング部、及びエフェクト部を備え、4つのマイクロホン14a,14b,14c,14dで収音したオーディオ信号をデジタル化してオーディオデータに変換し、指向性制御処理及びエフェクト処理を実行して記録再生部22に出力する。指向性制御処理は、ビームフォーミング部で実行され、4つのマイクロホン14a,14b,14c,14dからのオーディオデータをB-Format、すなわち
Wチャンネル:無指向成分
Xチャンネル:前後の広がり成分
Yチャンネル:左右の広がり成分
Zチャンネル:上下の広がり成分
の4チャンネルのオーディオデータに変換し、さらにこれらのオーディオデータに対して指向性を形成する。具体的には、信号処理部16は、タッチパネル12でのユーザのタッチ位置を検知し、タッチ位置に応じて指向性の方向を決定する。ビームフォーミング部は、例えば決定された当該指向性の方向に基づいて4つのマイクロホン14a,14b,14c,14dにおける到達時間差に対応する遅延時間を付与し、遅延処理されたオーディオデータを加算して指向性を形成する。エフェクト部は、ビームフォーミング部で指向性制御されたオーディオデータに対して、各種のエフェクト処理を施す。エフェクト処理には、リミット処理、フィルタリング処理、イコライジング処理等が含まれる。
録音モジュール18は、指向性制御し、エフェクト処理したオーディオデータを指向性制御処理後データとして記録再生部22に出力する。
また、録音モジュール18は、上記の指向性制御処理及びエフェクト処理と並行して、指向性制御処理しないオーディオデータ、すなわちA-FormatデータあるいはB-Formatデータを指向性制御処理前データとして記録再生部22に出力する。なお、指向性制御処理前データは、エフェクト処理部でエフェクト処理も施されない。すなわち、録音モジュール18は、指向性制御処理及びエフェクト処理を実行することなくA-FormatデータあるいはB-Formatデータを指向性制御処理前データとして記録再生部22に出力する。
録音モジュール18における当該並行処理は、ユーザ操作とは独立して自動実行される。従って、録音時には、録音モジュール18は常に、指向性制御処理前データと指向性制御処理後データを記録再生部22に出力する。また、録音モジュール18は、録音時にユーザが無指向状態でのオーディオデータの録音を指定した場合にも、指向性制御処理前データを自動的に記録再生部22に出力する。このとき、指向性制御前データと指向性制御後データの相違は、エフェクト処理の有無となる。
記録再生部22は、メモリスロット、及び当該メモリスロットに装着されたSDメモリ等の記録媒体にデータを書き込む書込回路を備える。書込回路は、録音モジュール18から出力された指向性制御前データ24及び指向性制御後データ26をメモリスロットに装着されたSDメモリ等に書き込むことでSDメモリに記録する。書込回路は、指向性制御前データ24と指向性制御後データ26をメモリに書き込んで記録する際に、これら2つのデータをペアとして書き込む。すなわち、指向性制御前データ24と指向性制御後データ26とを互いに関連付けてメモリに書き込む。このように、指向性制御前データ24と指向性制御後データ26を互いに関連付けてメモリに書き込んで記録するのは、指向性制御後データ26の再生がユーザにより操作された場合に、当該指向性制御後データ26とペアをなす指向性制御前データ24を容易に識別して読み出すことができるようにするためである。
また、記録再生部22は、メモリに記録されたデータを読み出す読出回路を備える。読出回路は、ユーザによる再生ファイルの選択・決定操作及びこれに続く再生スイッチの操作に応じて、メモリに記録されユーザにより指定されたファイルの指向性制御後データ26を読み出して再生モジュール20に出力する。
再生モジュール20は、読出回路で読み出された指向性制御後データ26を再生してイヤホンジャックやスピーカに出力する。
他方、ユーザが指向性制御後データ26の再生中に、録音時の指向性方向とは別の指向性方向に制御された音声を聞きたいと欲する場合、指向性制御前データ24の再生に切り替えるとともに、タッチパネル12をタッチして指向性の方向を指定する。
記録再生部22の読出回路は、ユーザによる当該切替操作に応じ、今までメモリから読み出していた指向性制御後データ26に関連付けられた指向性制御前データ24を読み出し、再生モジュール20に出力する。
再生モジュール20は、読出回路で読み出された指向性制御前データ24に対して、指向性制御処理及びエフェクト処理を実行し、再生してイヤホンジャックやスピーカに出力する。すなわち、再生モジュール20は、ビームフォーミング部、エフェクト部、及びD/A変換部を備え、指向性制御前データ24に対して指向性制御処理及びエフェクト処理を実行し、さらにD/A変換部でアナログオーディオ信号に変換してスピーカ等に出力する。再生モジュール20におけるビームフォーミング部は、録音モジュール18におけるビームフォーミング部と同様に、タッチパネル12でのユーザのタッチ位置に応じて例えば決定された指向性の方向に基づいて4つのマイクロホン14a,14b,14c,14dにおける到達時間差に対応する遅延時間を付与し、遅延処理されたオーディオデータを加算して指向性を形成する。再生モジュール20におけるエフェクト部は、録音モジュール18におけるエフェクト部と同様に、ビームフォーミング部で指向性制御されたオーディオデータに対して、各種のエフェクト処理を施す。エフェクト処理には、リミット処理、フィルタリング処理、イコライジング処理等が含まれる。
本実施形態における録音モジュール18及び再生モジュール20は、それぞれビームフォーミング部及びエフェクト部を備えているが、これらを共通化してもよい。すなわち、録音時には録音モジュール18が共通化されたビームフォーミング部及びエフェクト部を用いて指向性制御処理及びエフェクト処理を実行して指向性制御後データを生成してメモリに記録し、再生時には再生モジュール20が共通化されたビームフォーミング部及びエフェクト部を用いて指向性制御処理及びエフェクト処理を実行して指向性制御前データを生成して再生してもよい。
また、再生モジュール20のエフェクト処理部でエフェクト処理を実行する場合、処理対象である指向性制御前データ24に関連付けられた指向性制御後データ26のエフェクト処理と同様のエフェクト処理を行うことが望ましい。このため、録音時におけるエフェクト処理の各種パラメータ25を指向性制御前データ24及び指向性制御後データ26と関連付けて記録再生部22の記録媒体に記録しておき、再生モジュール20のエフェクト処理部でエフェクト処理を実行する際に記録媒体から当該パラメータ25を読み出してエフェクト処理を実行してもよい。これにより、指向性制御後データ26と指向性制御前データ24の切替時の聴感的な差を軽減し得る。
図4は、本実施形態における録音再生装置10の具体的な回路構成を示す。信号処理部16は、オーディオコーデック15及びDSP(デジタルシグナルプロセッサ)17から構成される。マイクロホン14a~14dは、オーディオコーデック15に接続される。
オーディオコーデック15は、マイクロホン14a~14dからのオーディオ信号を入力し、これらのアナログオーディオ信号をデジタル化してオーディオデータに変換し、DSP17に出力する。また、オーディオコーデック15は、DSP17で再生されたステレオオーディオデータ(PHONEL,R)をアナログ化してオーディオ信号に変換して出力する。
DSP17は、ビームフォーミング部及びエフェクト部を備える。ビームフォーミング部として、ビームフォーミングモジュール18aを備える。また、エフェクト部として、エフェクト処理部18bを備える。
ビームフォーミングモジュール18a、及びエフェクト処理部18bは互いに直列接続される。
ビームフォーミングモジュール18aは、遅延器及び加算器を備え、オーディオコーデック15からのオーディオデータを入力し、これらのオーディオデータ(A-Formatデータ)を4チャンネルのB-Formatデータに変換する。そして、B-Formatデータに対し、例えば遅延器及び加算器を用いて遅延和方式の演算でユーザにより指定された指向性方向への指向性制御処理を行い、2チャンネル(Lチャンネル及びRチャンネル)のオーディオデータをエフェクト処理部18bに出力する。また、ビームフォーミングモジュール18aは、4チャンネルのB-Formatデータを、指向性制御処理を施すことなくB-Formatの1-2ch及びB-Formatの3-4chとして記録再生部22に出力する。
エフェクト処理部18bは、各種のエフェクト処理、具体的にはリミット処理、イコライジング処理、ディエッサ処理等を実行する。リミット処理では、ビームフォーミングモジュール18aで指向性制御されたオーディオデータに対し、その音量レベルが予め設定した閾値を超えた場合に、音量レベルを絞ることで過大な信号レベルとならないように抑制する。イコライジング処理では、リミット処理で音量レベル調整されたオーディオデータに対し、特定の周波数帯域を強調あるいは減衰処理する。イコライジング処理には、ノイズの多い高周波成分をカットするフィルタ処理も含まれる。ディエッサ処理では、イコライジング処理されたオーディオデータに対し、高周波領域に特化して圧縮処理する。
ビームフォーミングモジュール18a、及びエフェクト処理部18bにより指向性制御処理され、さらにエフェクト処理された2チャンネルのオーディオデータは、マスター信号(MASTERL及びMASTERR)として記録再生部22に出力される。
記録再生部22の書込回路は、指向性制御処理後のデータとしてのマスター信号(MASTER L及びMASTER R)、指向性制御処理前のデータとしてのB-Format1-2ch、B-Format3-4chをSDメモリ等に書き込むことで記録する。
なお、エフェクト処理部18bでは、オーディオデータにジェネレータから出力された、位置合わせにおいて基準となるスレートトーンを付加して記録再生部22に出力してもよい。
また、スレートトーンが付加されたマスター信号は、記録再生部22に出力されるとともに出力信号(OUTPUT L及びOUTPUT R)としてUSBコネクタ23に出力される。
他方、再生モジュール20は、ビームフォーミングモジュール20a、及びエフェクト処理部20bを備える。ビームフォーミングモジュール20a、及びエフェクト処理部20bは互いに直列接続される。
ビームフォーミングモジュール20aは、記録再生部22の読出回路でメモリから読み出されたB-Format1-2ch及びB-Format3-4chを入力し、ユーザにより指定された指向性方向への指向性制御処理を行い、2チャンネル(Lチャンネル及びRチャンネル)のオーディオデータをエフェクト処理部20bに出力する。
エフェクト処理部20bは、各種エフェクト処理、すなわちリミット処理、イコライジング処理、ディエッサ処理等を実行する。
エフェクト処理部20bでのエフェクト処理は、基本的にはエフェクト処理部18bでのエフェクト処理と同様であり、エフェクト処理部18bでのエフェクト処理に用いられた各種パラメータ25を記録再生部22の記録媒体から読み出して援用する。勿論、エフェクト処理部20bでのエフェクト処理を、エフェクト処理部18bでのエフェクト処理と異なるものとしてもよい。エフェクト処理部20bは、指向性制御処理され、エフェクト処理されたオーディオデータを切替スイッチ20eに出力する。
また、記録再生部22の読出回路でメモリから選択的に読み出されたマスター信号(MASTER L及びMASTER R)は、ビームフォーミングモジュール20a、エフェクト処理部20bを経ることなく切替スイッチ20eに出力される。
切替スイッチ20eは、ユーザ操作に応じ、指向性制御処理及びエフェクト処理されたオーディオデータと、マスター信号のいずれかを「録音」と「再生」に切り替えて出力する。「録音」に切り替えた場合、当該オーディオデータとマスター信号のいずれかをUSBコネクタ23に出力する。また、「再生」に切り替えた場合、当該オーディオデータとマスター信号のいずれかをイヤホンジャック(PHONE L及びPHONE R)あるいはスピーカに出力する。
<処理フローチャート>
図5は、本実施形態の録音再生装置10における録音時の処理フローチャートを示す。
ユーザが電源スイッチをオンし、録音スイッチをオンすると、4つのマイクロホン14a,14b,14c,14dから音声信号を入力して収音し、信号処理部16に出力する(S101)。
信号処理部16は、4つのマイクロホン14a,14b,14c,14dからのアナログオーディオ信号をデジタルオーディオデータに変換し、ユーザがタッチパネル12の外側円環部をタッチすることで指定した方向の指向性制御処理を実行する(S102)。このとき、信号処理部16は、
・ユーザによるタッチパネル12のタッチ位置検出
・タッチ位置に対応する放射状のLED群の点灯
・タッチ位置に応じた指向性方向の決定
・決定された指向性方向に応じた強調処理
・指向性制御されていることを示すLEDの点灯
の各処理を実行する。ユーザがタッチパネル12の外側円環部をタッチしない場合、信号処理部16は、デフォルト状態である無指向状態(360度)の録音を行うため、S102の処理は実行しない。
次に、信号処理部16は、指向性制御処理されたオーディオデータ(あるいはユーザがタッチしないためデフォルト状態の無指向性のオーディオデータ)に対してエフェクト処理を実行する(S103)。指向性制御されエフェクト処理されたオーディオデータは、指向性制御処理後データとして記録再生部22に出力し、記録再生部22の書込回路は、当該指向性制御処理後データをメモリに記録する(S104)。
また、S102~S104の処理と並行して、信号処理部16は、指向性制御処理していないオーディオデータ、具体的にはA-FormatデータあるいはB-Formatデータを指向性制御処理前データとして記録再生部22に出力し、記録再生部22の書込回路は、当該指向性制御処理前データをメモリに記録する(S105)。
図6は、本実施形態の録音再生装置10における再生時の処理フローチャートを示す。
ユーザが再生スイッチをオンすると、デフォルト状態では記録再生部22の読出回路は、メモリから指向性制御処理後データを読み出して信号処理部16に出力する(S201)。
信号処理部16は、読み出された指向性制御処理後データを再生して出力する(S202)。
他方、信号処理部16は、ユーザからの切替操作があったか否かを判定する(S202)。ユーザからの切替操作がない場合は、指向性制御処理後データの再生出力をそのまま実行し続ける(S203でNO)。
ユーザからの切替操作があった場合(S203でYES)、記録再生部22の読出回路は、S201で読み出した指向性制御処理後データと関連付けられて記録された指向性制御処理前データをメモリから読み出して信号処理部16に出力する(S204)。
信号処理部16は、読み出された指向性制御処理前データに対して指向性制御処理を実行する(S205)。このとき、信号処理部16は、録音時と同様に、
・ユーザによるタッチパネル12のタッチ位置検出
・タッチ位置に対応する放射状のLED群の点灯
・タッチ位置に応じた指向性方向の決定
・決定された指向性方向に応じた強調処理
・指向性制御されていることを示すLEDの点灯
の各処理を実行する。
次に、信号処理部16は、指向性制御処理されたオーディオデータに対してエフェクト処理を実行する(S206)。指向性制御されエフェクト処理されたオーディオデータは、再生出力される(S207)。
以上のようにして、ユーザは、録音時に指向性制御されてメモリに記録されたオーディオデータを再生してその音声を聴くことができるとともに、録音時の指向性方向と異なる指向性方向で聴きたい場合には、再生時に改めてタッチパネル12を操作して指向性方向を指定することで、所望の指向性制御された音声を聴くことができる。録音再生装置10を基準として再生時に特定方向に位置する話者の発言を特に強調して再生したい場合等に有効である。
<他の実施形態>
本実施形態では、ユーザがタッチパネル12の外側円環部をタッチすることで指向性方向を指定しているが、有線あるいは無線で録音再生装置10とデータ送受信可能に接続されたPCやタブレット端末、あるいはスマートフォン等を用い、これらの情報端末にインストールされたアプリケーションにより、録音再生装置10を基準とする3次元座標系において所望の位置を3次元座標で指定することで指向性方向を指定してもよい。
また、本実施形態において、再生音声の音程を維持したまま再生スピードを可変とするVSA(Variable Speed Audition)機能を搭載してもよい。
図7は、VSA機能を搭載した場合の録音再生装置10の回路構成図である。図4と異なる点は、記録再生部22と再生モジュール20との間に、VSAモジュール20gが設けられている点である。ユーザは、再生コントロール画面が基台に表示されているときに+ボタンあるいは-ボタンを操作して再生スピードを増減する。VSAモジュール20gは、当該ユーザ操作に応じて再生速度を増減調整する。
なお、VSAモジュール20gは、記録再生部22と再生モジュール20の間ではなく、再生モジュール20の後段に設けることも可能であるが、この場合には、VSAモジュール20gの前にオーディオデータを保持しておくための別メモリが必要となるため部品点数が増大する(これに対し、再生モジュール20の前段に設ける場合にはその必要がない)。従って、部品点数の削減及びコスト削減の観点からは、図7のように再生モジュール20の前段にVSAモジュール20gを設けるのが望ましい。
10 録音再生装置、11 基台、12 タッチパネル、13 LED群、14,14a,14b,14c,14d マイクロホン、16 信号処理部、18 録音モジュール、20 再生モジュール、22 記録再生部、24 指向性制御処理前データ、25 エフェクト処理パラメータ、26 指向性制御処理後データ。

Claims (7)

  1. 複数のマイクロホンと、
    指向性の方向を指定するための操作手段と、
    前記複数のマイクロホンで収音したオーディオ信号に対して、録音時に前記操作手段で指定された第1方向に強調処理する第1指向性制御手段と、
    前記第1指向性制御手段で処理された指向性制御処理後オーディオデータ、及び前記指向性制御手段で処理される前の指向性制御処理前オーディオデータをメモリに記録する記録手段と、
    前記メモリに記録された前記指向性制御処理後オーディオデータと、前記指向性制御処理前オーディオデータを読み出す読出手段と、
    前記指向性制御処理前オーディオデータが読み出された場合に、読み出された指向性制御処理前オーディオデータに対して、再生時に前記操作手段で指定された、前記第1方向とは異なる第2方向に強調処理する第2指向性制御手段と、
    読み出された前記指向性制御処理後オーディオデータと、前記第2指向性制御手段で処理されたオーディオデータを選択的に再生する再生手段と、
    を備える録音再生装置。
  2. 請求項1に記載の録音再生装置において、
    前記指向性制御処理後オーディオデータは、エフェクト処理がなされたオーディオデータであり、
    前記指向性制御処理前オーディオデータは、前記エフェクト処理がなされていないオーディオデータである、
    録音再生装置。
  3. 請求項2に記載の録音再生装置において、
    前記再生手段は、前記第2指向性制御手段で処理されたオーディオデータを、前記指向性制御処理後オーディオデータのエフェクト処理に用いられるパラメータでエフェクト処理する、
    録音再生装置。
  4. 請求項1~3のいずれかに記載の録音再生装置において、
    前記指向性制御処理前オーディオデータは、アンビソニックのA-FormatデータあるいはB-Formatデータである、
    録音再生装置。
  5. 請求項1~4のいずれかに記載の録音再生装置において、
    前記操作手段は、
    円環形状のタッチパネルと、
    前記タッチパネルのいずれかの位置がタッチ操作された場合に、放射状に点灯するLED群と、
    を備える、録音再生装置。
  6. 請求項1~5のいずれかに記載の録音再生装置において、さらに、
    前記読出手段と前記第2指向性制御手段との間に、再生音声の音程を維持したまま再生スピードを可変とする可変手段
    を備える、録音再生装置。
  7. 複数のマイクロホンと、
    指向性の方向を指定するためのタッチパネルと、
    前記複数のマイクロホンで収音したオーディオ信号を処理してオーディオデータとしてメモリに記録する録音モジュールと、前記メモリに記録されたオーディオデータを再生して出力する再生モジュールを備えたデジタルシグナルプロセッサと、
    を備え、
    前記録音モジュールは、前記オーディオ信号に対して前記タッチパネルで指定された第1方向に指向性を制御し、さらにエフェクト処理を施したオーディオデータを指向性制御処理後データとして前記メモリに記録し、かつ、前記指向性を制御せず、さらにエフェクト処理を施していないオーディオデータを指向性制御処理前データとして前記メモリに前記指向性制御処理後データと関連付けて自動的に記録し、
    前記再生モジュールは、前記メモリに記録された前記指向性制御処理後データを再生出力し、かつ、ユーザからの切替操作に応じ、前記メモリに記録された前記指向性制御処理前データに対して再生時に前記タッチパネルで指定された、前記第1方向とは異なる第2方向に指向性を制御し、さらにエフェクト処理を施して切替再生出力する、
    録音再生装置。
JP2019231627A 2019-12-23 2019-12-23 録音再生装置 Active JP7396029B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019231627A JP7396029B2 (ja) 2019-12-23 2019-12-23 録音再生装置
EP20214374.9A EP3843423A1 (en) 2019-12-23 2020-12-15 Recording and playback device
US17/126,190 US11418872B2 (en) 2019-12-23 2020-12-18 Recording and playback device
CN202011529123.6A CN113096693B (zh) 2019-12-23 2020-12-22 录音重放装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019231627A JP7396029B2 (ja) 2019-12-23 2019-12-23 録音再生装置

Publications (2)

Publication Number Publication Date
JP2021100209A JP2021100209A (ja) 2021-07-01
JP7396029B2 true JP7396029B2 (ja) 2023-12-12

Family

ID=73854688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019231627A Active JP7396029B2 (ja) 2019-12-23 2019-12-23 録音再生装置

Country Status (4)

Country Link
US (1) US11418872B2 (ja)
EP (1) EP3843423A1 (ja)
JP (1) JP7396029B2 (ja)
CN (1) CN113096693B (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180197A (ja) 2002-11-29 2004-06-24 Canon Inc 情報処理装置、情報処理方法および記録媒体
JP2007300220A (ja) 2006-04-27 2007-11-15 Olympus Imaging Corp カメラ、再生装置、音声記録方法、音声再生方法、プログラム、記録媒体
JP2010230992A (ja) 2009-03-27 2010-10-14 Denso It Laboratory Inc 音声データ再生装置及び音声データ再生方法
JP2011211330A (ja) 2010-03-29 2011-10-20 Yamaha Corp 収音装置および放収音装置
WO2012124422A1 (ja) 2011-03-11 2012-09-20 三洋電機株式会社 録音装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1568585A (en) 1977-06-03 1980-06-04 Nuclear Power Co Ltd Liquid metal cooled nuclear reacotrs
JP4952469B2 (ja) * 2007-09-19 2012-06-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN102403022A (zh) * 2010-09-13 2012-04-04 三洋电机株式会社 录音装置、录音条件设定方法以及录音条件设定程序
US8855341B2 (en) 2010-10-25 2014-10-07 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for head tracking based on recorded sound signals
US9552840B2 (en) 2010-10-25 2017-01-24 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones
US8873762B2 (en) * 2011-08-15 2014-10-28 Stmicroelectronics Asia Pacific Pte Ltd System and method for efficient sound production using directional enhancement
WO2014001974A2 (en) * 2012-06-28 2014-01-03 Koninklijke Philips N.V. Dedicated user interface for mr-guided interstitial interventions
JP5958833B2 (ja) 2013-06-24 2016-08-02 パナソニックIpマネジメント株式会社 指向性制御システム
JP6202277B2 (ja) 2014-08-05 2017-09-27 パナソニックIpマネジメント株式会社 音声処理システム及び音声処理方法
CN105611458B (zh) 2015-11-11 2019-07-16 Oppo广东移动通信有限公司 一种移动终端的定向录音控制方法及装置
CN106790940B (zh) * 2015-11-25 2020-02-14 华为技术有限公司 录音方法、录音播放方法、装置及终端
CN107404684A (zh) * 2016-05-19 2017-11-28 华为终端(东莞)有限公司 一种采集声音信号的方法和装置
CN107393579A (zh) * 2017-08-02 2017-11-24 深圳传音控股有限公司 录音方法、录音设备
US10817251B2 (en) * 2018-11-29 2020-10-27 Bose Corporation Dynamic capability demonstration in wearable audio device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180197A (ja) 2002-11-29 2004-06-24 Canon Inc 情報処理装置、情報処理方法および記録媒体
JP2007300220A (ja) 2006-04-27 2007-11-15 Olympus Imaging Corp カメラ、再生装置、音声記録方法、音声再生方法、プログラム、記録媒体
JP2010230992A (ja) 2009-03-27 2010-10-14 Denso It Laboratory Inc 音声データ再生装置及び音声データ再生方法
JP2011211330A (ja) 2010-03-29 2011-10-20 Yamaha Corp 収音装置および放収音装置
WO2012124422A1 (ja) 2011-03-11 2012-09-20 三洋電機株式会社 録音装置

Also Published As

Publication number Publication date
JP2021100209A (ja) 2021-07-01
CN113096693A (zh) 2021-07-09
EP3843423A1 (en) 2021-06-30
CN113096693B (zh) 2022-08-19
US20210195320A1 (en) 2021-06-24
US11418872B2 (en) 2022-08-16

Similar Documents

Publication Publication Date Title
JP7389081B2 (ja) 三次元拡張オーディオを提供するシステム及び方法
KR100739723B1 (ko) 오디오 썸네일 기능을 지원하는 오디오 재생 방법 및 장치
CN1419796B (zh) 音像定位处理装置和音像定位处理方法
US9972297B2 (en) Sound processing device, sound data selecting method and sound data selecting program
US8204615B2 (en) Information processing device, information processing method, and program
KR20100017860A (ko) 오디오 데이터를 처리하기 위한 디바이스 및 방법
EP3364638B1 (en) Recording method, recording playing method and apparatus, and terminal
CN103181192A (zh) 利用多麦克风的三维声音捕获和再现
US20140241702A1 (en) Dynamic audio perspective change during video playback
JP2015529415A (ja) 多次元的パラメトリック音声のシステムおよび方法
WO2018082233A1 (zh) 一种实现音频变换立体声的装置及方法
KR102527336B1 (ko) 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치
JP2011180470A (ja) 音声可視化装置
JP2005198251A (ja) 球体を用いた3次元オーディオ信号処理システム及びその方法
JP7396029B2 (ja) 録音再生装置
JP2005157278A (ja) 全周囲音場創生装置、全周囲音場創生方法、及び全周囲音場創生プログラム
US20130251157A1 (en) System for reproducing an audio signal
JP2004513583A (ja) 携帯用多チャンネルアンプ
JP2023104156A (ja) 音編集システム、音編集方法および音編集プログラム
JPWO2020081674A5 (ja)
JP2013059066A (ja) 記録装置およびビデオカメラ
JP2010009649A (ja) 録音装置、方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R150 Certificate of patent or registration of utility model

Ref document number: 7396029

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150