JP5407848B2 - マイクロホンの指向性制御装置 - Google Patents

マイクロホンの指向性制御装置 Download PDF

Info

Publication number
JP5407848B2
JP5407848B2 JP2009295188A JP2009295188A JP5407848B2 JP 5407848 B2 JP5407848 B2 JP 5407848B2 JP 2009295188 A JP2009295188 A JP 2009295188A JP 2009295188 A JP2009295188 A JP 2009295188A JP 5407848 B2 JP5407848 B2 JP 5407848B2
Authority
JP
Japan
Prior art keywords
sound
sound source
information
inclination
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009295188A
Other languages
English (en)
Other versions
JP2011135489A (ja
Inventor
昭二 早川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2009295188A priority Critical patent/JP5407848B2/ja
Priority to US12/965,227 priority patent/US8804978B2/en
Priority to EP10195972.4A priority patent/EP2339868A3/en
Publication of JP2011135489A publication Critical patent/JP2011135489A/ja
Application granted granted Critical
Publication of JP5407848B2 publication Critical patent/JP5407848B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/808Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6008Substation equipment, e.g. for use by subscribers including speech amplifiers in the transmitter circuit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0279Improving the user comfort or ergonomics
    • H04M1/0281Improving the user comfort or ergonomics for providing single handed use or left/right hand conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01Aspects of volume control, not necessarily automatic, in sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Description

本発明は、マイクロホンの指向性制御技術に関する。
従来、マイクロホンで目的音を強調して収音する技術として、マイクロホンの指向性を制御し、背景雑音を抑制する技術が開示されている(例えば、特許文献1)。例えば、マイクアレイの指向性を絞ることで、雑音抑圧量を増やすことができる。しかし、目的音の音源とマイクロホンとの相対位置関係が収音時において変化すると、音源がマイクロホンの指向性から外れて、目的音が抑制される場合がある。
例えば、マイクアレイを携帯電話に搭載した場合、マイクアレイの指向性が絞られていると、ユーザが携帯電話を傾けて持ったときに、口の方向がマイクアレイの指向性から外れ、マイクアレイで検出される音声が抑圧されることがある。また、ユーザが歩きながら通話する場合には、口とマイクアレイの位置関係が安定せず、口の位置がマイクアレイの指向性から外れ、音声が抑圧されることがある。
これに対して、マイクアレイが検出した音声信号に基づいて口(音源)の方向を推定し、指向性を制御する方法が容易に導出される。しかし、この方法だと、SNR(Signal to Noise Rate)が悪い場合には音源方向の検出精度が悪くなる。そのため、マイクを搭載する携帯電話端末の傾きにマイクの指向性補正値を対応付けてデータベースに記憶しておき、当該データベースを参照することにより、傾斜センサで検知される携帯電話端末の傾きに応じて指向性を補正する方法が開示されている(例えば、特許文献2参照)。
特開2002−204493号公報 特開2008−167323号公報(10頁 段落0048)
しかしながら、従来技術では、ユーザが発声していないと音源の方向が推定できないという問題がある。さらに、特許文献2では、携帯電話端末の傾きと指向性補正値を対応付けたルックアップテーブルにより指向性補正値を決定するので、例えば、ユーザが上向き加減や下向き下限に顔を向けていたり、寝そべっていたりした場合には、間違った方向に口(音源)があると推定される。そのため、ユーザが発声していない場合にも、指向性が口方向から外れない適切な指向性制御を実現することが課題であった。
ゆえに、本発明は、マイクが目的音を検出していないときでも、指向性が音源方向から外れにくい適切な指向性制御を実現することを目的とする。
本願開示の指向性制御装置は、少なくとも2個のマイクロホンと、当該マイクロホンが設けられる筐体の傾きを測定可能なセンサと連携動作可能な指向性制御装置である。この指向性制御装置は、前記筐体の傾きを示す傾き情報を前記センサから取得する傾き情報取得部と、前記マイクロホンから取得した音情報に基づいて、音源の方向を示す音源方向情報を計算する音源方向取得部と、前記筐体の傾きと前記マイクロホンに対する前記音源の方向との関係を示す対応関係データを記録する記録部と、前記音情報が目的音か否かを判断する目的音判定部と、前記音情報が目的音と判断された場合に、前記音源方向情報および前記傾き情報に基づいて、前記対応関係データを更新する対応関係補正部と、前記音情報が目的音でないと判断された場合に、前記対応関係データを用いて前記傾き情報取得部で取得される傾き情報に対応する音源の方向を決定する音源方向推定部と、前記音情報が目的音と判断された場合は、前記音源方向取得部により取得された音源方向情報に応じて、前記音情報が目的音でないと判断された場合は、前記音源方向推定部により決定された音源の方向に応じて、前記マイクロホンの指向性を調整する指向性制御部とを備える。
本願明細書の開示によれば、目的音が検出されていないときにも、指向性が音源方向から外れにくい適切な指向性制御を実現することができる。
第1の実施形態にかかる指向性制御装置の構成の一例を示す機能ブロック図である。 携帯電話を持って話すユーザを下から見た図である。 携帯電話の筐体を下面側から見た図である。 傾斜角の例を説明するための図である。 指向性制御装置による指向性制御処理の一例を示すフローチャートである。 対応関係データで表される音の入射角θと携帯電話の傾きφとの対応関係の一例を示す図である。 対応関係データの補正例を示す図である。 対応関係データを用いて音源方向推定する例を示す図である。 対応関係データの補正例を示す図である。 第2の実施形態にかかる指向性制御装置の構成の一例を示す機能ブロック図である。 対応関係を示す関数の一例を示す図である。 第3の実施形態にかかる指向性制御装置の構成の一例を示す機能ブロック図である。 第3の実施形態の指向性制御装置の動作例を示すフローチャートである。 右手保持時の携帯電話の傾斜角と対応関係データの例を示す図である。 左手保持時の携帯電話の傾斜角と対応関係データの例を示す図である。 第4の実施形態にかかる指向性制御装置の構成の一例を示す機能ブロック図である。 入射角θとマイクゲインの関係の一例を表す図である。 第5の実施形態にかかる指向性制御装置の構成の一例を示す機能ブロック図である。 指向性制御装置が、ユーザが歩行状態か否かを判定して指向性を制御する動作例を示すフローチャートである。 第6の実施形態にかかる指向性制御装置の構成の一例を示す機能ブロック図である。 第7の実施形態にかかる指向性制御装置の構成の一例を示す機能ブロック図である。
(第1の実施形態)
[装置の構成例]
図1は、本実施形態にかかるマイクロホンの指向性制御装置の構成の一例を示す機能ブロック図である。指向性制御装置4は、例えば、マイクロホンを備える携帯電話に設けることができる。図1に示す指向性制御装置4は、指向性を有するマイクロホンの受音した音の音源方向および携帯電話の筐体の傾斜、つまりマイロホンの傾斜に関する情報を取得して、これらの情報に基づいてマイクロホンの指向性を制御する装置である。
図1に示す例では、指向性制御装置4は、受音部2が受音した音信号を入力し、音響処理部3に対して指向性制御信号を出力する。音響処理部3は、指向性制御信号に基づいて、受音部2が受音した音信号を処理し、雑音が抑圧された音信号を出力する。
受音部2は、一例として、複数のマイクロホン1a、1bを含むマイクアレイ1を備えた構成である。例えば、受音部2を携帯電話に設ける場合、マイクロホン1a、1bは、例えば、携帯電話の正面に横方向に2個並んで配置されてもよいし、正面に1個、背面に1個、配置されてもよい。
なお、受音部2の構成は、図1に示す例に限られない。例えば、受音部2は、3個以上のマイクロホンを備える構成であってもよいし、増幅器、A/D変換器または遅延回路等、その他の機能部を必要に応じて設けてもよい。
指向性制御装置4は、音源方向取得部5、目的音判定部6、傾き情報取得部7、対応関係補正部8、指向性制御部9、音源方向推定部10および記録部11を備える。これらの各機能ブロックの機能は、電子回路および記録媒体により実現されてもよいし、プロセッサが所定のプログラムを実行することで実現されてもよい。したがって、コンピュータに、音源方向取得部5、目的音判定部6、傾き情報取得部7、対応関係補正部8、指向性制御部9、音源方向推定部10の機能を実行させるプログラムおよび、そのようなプログラムを記録した記録媒体も、本発明の実施形態に含まれる。
音源方向取得部5は、マイクロホン1a、1b(マイクアレイ1)で検出された音の音源の方向を示す音源方向情報を取得する。例えば、音源方向取得部5は、マイクアレイ1で検出された音情報に基づいて音源の方向を計算することができる。音源の方向は、例えば、マイクアレイに対する音源の方向で表すことができる。音源方向の計算には、例えば、マイクアレイを用いた音源定位の技術を用いることができる。
本実施形態では、一例として、音源方向は、音源およびマイクアレイ1を結ぶ線と、マイクロホン1a、1bが並ぶ面の法線とのなす角(入射角θ:図2参照)により表すことができる。図2Aは、携帯電話を持って話すユーザを下から見た図である。図2Bは、携帯電話の筐体13を下面側から見た図である。図2Aおよび図2Bに示す例では、携帯電話の筐体13の下端にマイクアレイ1が設けられ、マイクアレイ1の並ぶ面の法線と口からマイクアレイ1のマイクロホン1a、1bを結ぶ線とのなす角が入射角θである。なお、図2に示す入射角は、音源方向を表す値の一例であって、音源方向の表し方はこれに限定されない。
傾き情報取得部7は、マイクロホン1a、1bが設けられる装置の筐体の傾きを示す傾き情報を取得する。例えば、傾き情報取得部7は、マイクロホン1a、1bが設けられる装置本体(例えば、携帯電話)に接続された加速度センサ12から、装置本体の傾き(すなわち、マイクロホン1a、1bの傾き)を表す情報を取得することができる。このように、センサとマイクロホンが1つの筐体に設けられている場合、筐体の傾きを測定しているセンサから、センサが設けられている筐体の傾きを取得して、これをマイクの傾きとして後の計算に使うができる。
加速度センサ12は、マイクロホン1a、1bの動きを検知するセンサの一例である。加速度センサ12は、例えば、3軸の加速度センサを用いることができる。加速度センサ12に替えて角速度センサ(ジャイロセンサ)を用いてもよいし、加速度センサ12および角速度センサを併用してもよい。
なお、傾き情報取得部7は、加速度センサ12により得られる加速度(重力)の情報を、傾きを示す情報に変換してもよいし、加速度センサ12から傾斜を示す情報を受け取ってもよい。本実施形態では、一例として、傾き情報取得部7が、携帯電話の中心線と水平面とのなす角(傾斜角φ:図3参照)を、傾き情報として取得する場合について説明する。
図3は、携帯電話を持って話すユーザを横から見た図である。図3に示す例では、携帯電話の筐体3の中心線と水平面との成す角が傾斜角φとなっている。なお、図3に示す傾斜角φは、携帯電話またはマイクロホン1a、1bの傾きを表す値の一例であって、傾きの表し方はこれに限定されない。例えば、携帯電話においてマイクアレイとスピーカとを結ぶ線が水平方向となす角を、傾斜角度とすることができる。
記録部11は、マイクロホン1a、1bの傾き(例えば、傾斜角φ)とマイクロホン1a、1bに対する音源の方向(例えば、入射角θ)との関係を示す対応関係データを記録する。例えば、傾きを示す値と、音源の方向を示す値とを対応付けたテーブルが記録部11に記録されてもよいし、あるいは、傾きを示す値を、音源の方向を示す値に変換する関数が記録されてもよい。
目的音判定部6は、マイクロホン1a、1bが目的音を検出したか否かを判断する。目的音判定部6は、例えば、音声/無音判定により、目的音検出の有無を判断する。一例として、マイクアレイ1から受信した音信号のレベルが閾値を越えているか否かにより目的音の有無を判断することができるし、あるいは、その他の公知の音声区間検出の技術を用いることができる。また、音源方向取得部5で取得される音源方向情報および傾き情報取得部7で取得される傾き情報に基づいて、目的音検出の有無を判断してもよい。
対応関係補正部8は、目的音判定部6により目的音が検出されたと判断された場合に、音源方向取得部5で取得される音源方向情報および傾き情報取得部7で取得される傾き情報に基づいて対応関係データを更新する。
音源方向推定部10は、目的音判定部6により目的音が検出されていない、または背景雑音レベルが大きいと判断された場合に、傾き情報取得部7で取得される傾き情報に対応する音源の方向を、対応関係データを用いて決定する。
指向性制御部9は、音源方向取得部5により取得された音源方向情報または音源方向推定部10により決定された音源の方向に応じて、マイクロホン1a、1bの指向性を調整する。すなわち、指向性制御部9は、マイクロホン1a、1bから取得した音情報が目的音と判断された場合は、音源方向取得部5により取得された音源方向情報に応じてマイクロホン1a、1bの指向性を調整する。音情報が目的音でないと判断された場合は、指向性制御部9は、音源方向推定部10により決定された音源の方向に応じて、マイクロホン1a、1bの指向性を調整する。
指向性制御部9は、音源方向取得部5または音源方向推定部10から音源方向を示す情報として、例えば、入射角φを受け取ることができる。この場合、指向性制御部9は、音響処理部3に入射角φを通知し、入射角φの指向特性を持った音信号を音響処理部3に出力させることができる。例えば、音響処理部3は、マイクアレイ1の感度特性が入射角φの方向にピークを持つように信号処理を実行してもよい。すなわち、音響処理部3は、マイクアレイ1に入射角φより小さい角度で入射する音を選択的に取り出して出力することができる。これにより、入射角φより大きい角度で入射する音の信号は雑音として抑制される。
上記構成によれば、指向性制御装置4は、目的音が検出されたときは、実際に検出された目的音の音源方向情報と筐体の傾き情報とに基づいて対応関係データを更新し、傾きと音源方向との対応関係データが実際の対応関係に近くなるよう補正することができる。これにより、実際に検出された目的音の音源方向と傾きに基づいて指向性が調整される。一方、目的音が検出されない場合は、音源方向推定部10は、補正された対応関係データを用いて、傾き情報に対応する音源方向を推定することができる。このように、目的音の検出時には、対応関係データが示す傾きと音源方向との対応関係が実際のものに近くなるように補正し、目的音の非検出時には対応関係データを用いて音源方向を推定することが可能になる。その結果、目的音が検出されていないときにも、目的音の音源から外れにくい適切な指向性制御を実現することができる。
一例として、指向性制御装置4を携帯電話に設けた場合の機能について説明する。この場合、まず、目的音判定部6が音声・無音判定を行い、音声の場合には、指向性制御部9が、音源方向取得部5で取得された口の方向θを用いて指向性を制御するとともに、対応関係補正部8が、加速度センサ12から携帯電話の現在の傾斜角φと、音源方向取得部5から現在の音源方向、すなわち、口の入射角θの値の情報をもらい、両者の数値の座標あわせを行う。またユーザが発声していないと判定された場合には、加速度センサ12から携帯電話の現在の傾斜角φの情報を用いて、記録部11に記録された、傾斜角と目的音源入射角の対応関係を用いて、現在の口の方向(入射角θS)を推定する。指向性制御部9は、推定した入射角θSを用いて指向性を制御する。
上記構成において、音源方向推定部10および指向性制御部9は、マイクロホン1a、1bの傾きの変化に応じて処理を異ならせてもよい。例えば、目的音判定部6により目的音が検出されていないと判断され、且つマイクロホン1a、1bの傾きが大きくなるように変化した場合に、音源方向推定部10が、対応関係データを用いて傾き情報に対応する音源方向を決定する態様とすることができる。指向性制御部9は、決定された音源方向の音の信号を選択的に取り出すよう指向性を制御する。
また、目的音判定部6により目的音が検出されていないと判断され、且つマイクロホン1a、1bの傾きが小さくなるように変化した場合に、対応関係補正部8が、当該傾きの変化に応じて対応関係データを補正する態様にすることもできる。このように、マイクロホン1a、1bの傾き変化の仕方によって音源方法推定部10または指向性制御部9の処理を変えることで、より適切な指向性制御を実現することができる。
[装置の動作例]
次に、指向性制御装置4の動作例を説明する。図4は、指向性制御装置4による指向性制御処理の一例を示すフローチャートである。ここで、一例として、指向性制御装置4が携帯電話に設けられた場合の動作例を説明する。図4に示す例では、傾き情報取得部7が、加速度センサから傾斜角φ1を取得する(Op1)。また、目的音判定部6は、マイクロホン1a、1bから入力された信号により目的音の有無を判断する(Op2)。ここでは一例として、目的音判定部6は、ユーザが発声しているか否かを判定する。
[ユーザが発声している時の処理(Op8〜Op10)の例]
ユーザが発声している場合には(Op2でYes)、音源方向取得部5が、マイクロホン1a、1bから入力された信号より入射角θ1を計算する(Op8)。入射角θ1は、対応関係補正部8に通知されるとともに、現在の音源方向(口の方向)として、指向性制御部9にも通知される。
対応関係補正部8は、現在の携帯電話の傾きφ1と口からの音声の入射角θ1の対応関係に従って、記録部11の対応関係データを補正する(Op9)。対応関係データ補正の詳細については、後述する。
指向性制御部9は、音声の入射角θ1を音響処理部3に通知し、音響処理部3は、入射角θ1に基づいてマイクアレイ1の指向性を制御する(Op10)。音響処理部3は、例えば、入射角θ1でマイクアレイ1に入ってくる音の信号を選択的に取り出すことができる。すなわち、入射角θ1から外れた角度でマイクアレイ1に到来する音の信号は、雑音として抑制することができる。一例として、直線上に規則的に配置された複数のマイクロホンそれぞれに角度θLで入射する音の信号を、マイクロホン毎に設けられた遅延器により同相化することにより、角度θLで入射する音の信号を強調して取り出すことができる。
[Op9の処理の具体例]
ここで、Op9の処理の具体例について説明する。図5Aは、対応関係データで表される音の入射角θと携帯電話の傾きφとの対応関係の一例を示す図である。図5Aに示す例では、音の入射角θが、携帯電話の傾きφの一次関数で表される。この場合、例えば、対応関係を表す一次関数(θ=Aφ+B)の係数A、Bの値を対応関係データとして記録部11に記録することができる。なお、図5A〜図5Dにおいて、縦軸は目的音源の入射角θ、横軸は携帯電話の傾斜角φを示している。
Op9において、対応関係補正部8は、例えば、現在の音の入射角θ1と携帯電話の傾斜角φ1の組が、一次関数θ=Aφ+Bの関係を満たすように係数Bを補正することができる。具体的には、図5Bに示すように、φθ平面において、直線θ=Aφ+Bが点(θ1、φ1)を通るように係数Bを補正することができる。この例は、φとθの対応関係を表す関数をφθ平面において平行移動させるような補正である。図5Bにおいて、直線f1は補正前の対応関係を示す直線であり、直線f2は補正後の対応関係を示す直線である。
例えば、ユーザが携帯電話で話しながら寝転ぶなどして姿勢を変化させた場合、マイクロホン1a、1bに対する口(音源)の方向(例えば入射角θ)と、携帯電話の傾き(すなわち傾斜角φ)との関係は変化する。ユーザが姿勢を変化させて入射角θ0からθ1に変化した場合に、対応関係補正部8は、図5Bに示すように、対応関係が直線f1から直線f2になるように係数Bを補正することができる。このようにして、ユーザが発声している間は、携帯電話の傾きと口からの音の入射角との対応関係が、ユーザの姿勢に応じて最新の状態で更新されることになる。
[ユーザが発声していないときの処理(Op3〜Op7)の例]
再び、図4を参照して、ユーザが発声していないと判定された場合(Op2でNoの場合)、音源方向推定部10は、傾き情報取得部7が取得した現在の携帯電話の傾きφ1から、携帯電話の傾きと口の入射角の対応関係を示す対応関係データを用いて、入射角θS1を推定する(Op4)。上記Op9の処理により、ユーザが発声している間は、対応関係データで示されるφとθの関係がユーザの姿勢に応じて補正し続けられる。そのため、ユーザが発声中に顔を動かしたり、寝転んだりしても、ユーザの姿勢変化によるφとθの対応関係の変化が、対応関係データに反映される。その結果、発声がないときにも、ユーザの姿勢の変化に応じた適切な口の方向(入射角θS1)を推定することができる。
図4に示す例では、ユーザが発声していないと判定された場合に、携帯電話の傾斜角φが増加した場合(Op3でYes)と、減少した場合(Op3でNo)とで異なる処理が実行される。
ユーザが発声していないと判定され、且つ携帯電話の傾斜角φ1が大きくなった場合(Op2でNo、Op3でYes)には、音源方向推定部10は、対応関係データを参照して携帯電話の傾斜角φ1に対応する音源方向(入射角θS1)を推定する。
例えば、傾き情報取得部7は、一定時間間隔で周期的に傾斜角φを取得し、前回取得時の傾斜角φ0より大きな傾斜角φ1(φ0<φ1)を取得した場合に音源方向推定部10へ傾斜角φ1を通知する。この場合、音源方向推定部10は、例えば、図5Cに示すように、傾斜角φ1を一次関数θ=Aφ+Bに代入して、傾斜角φ1に対応する入射角θS1=Aφ1+Bを求めることができる。
指向性制御部9は、推定された入射角θS1に応じてマイクロホン1a、1bの指向性を制御する。例えば、入射角θS1より小さい角度で入射する音の信号を選択的に取り出し、入射角θS1より大きな角度で入射する音の信号を雑音として抑制する制御が可能である。この場合、推定値である入射角θS1が大きくなると、マイクロホン1a、1bが検出する音の入射角が広がることになるので、指向性が広がることになる。ユーザが発声していないときに携帯電話の傾きが増加した場合(φ0→φ1)、口から音の入射角が大きくなる可能性が高いので、音源方向推定部10は、対応関係データに従って入射角θS1もそれに応じて大きくなるように計算し、これにより、指向性を広げることができる。
逆に、携帯電話の傾斜角φが小さくなった場合(Op2でNo,Op3でNo)には、指向性を絞らずに、現在の指向性を維持するよう制御することができる(Op6)。携帯電話の傾斜角φが小さくなった場合は、ユーザの顔の動きに合わせて携帯電話が動いた可能性が高い。すなわち、傾斜角φが小さくなった場合は、音源である口とマイクロホン1a、1bとの相対位置関係の変化が少ないことが多い。そのため、マイクロホン1a、1bの指向性変化を少なくするかあるいは省略することができる。これにより、マイクロホン1a、1bに対する音源(口)の方向が変わっていないにも関わらず、指向性を狭くしすぎて目的音の信号をも抑圧してしまうことを防ぐことができる。
例えば、傾き情報取得部7は、一定時間間隔で周期的に傾斜角φを取得し、前回取得時の傾斜角φ0より小さな傾斜角φ1(φ0>φ1)を取得した場合に、指向性制御部9へ傾斜角φ1を通知する。この場合、指向性制御部9は、指向性を狭くすると音声を抑圧する危険があるので、現在の指向性を維持するように動作する(Op6)。
さらに、対応関係補正部8は、傾斜角φ1に基づいて対応関係の関数の補正を行うこともできる(Op7)。傾斜角φ1が、前回取得の傾斜角φ0より小さくなっている場合は、音源とマイクロホン1a、1bとの相対位置関係は変化していないとみなすことができる。すなわち、入射角θは、すでに取得しているθ0から変化していないとみなすことができる。そこで、対応関係補正部8は、すでに取得している入射角θ0と現在の傾斜角φ1の対応関係を基に、対応関係データを補正することができる。
図5Dは、対応関係補正部8による対応関係データの示す直線θ=Aφ+Bを補正する場合の具体例を示す図である。図5Dに示すように、対応関係補正部8は、φθ平面において、直線θ=Aφ+Bが点(θ0、φ1)を通るようにBを補正することができる。図5Bにおいて、直線f1は補正前の対応関係を示す直線であり、直線f2は補正後の対応関係を示す直線である。このように、対応関係データを補正することにより、ユーザの姿勢などに合う適切な入射角θSを推定することが可能になる。
図4に示す動作例によれば、ユーザの発話があるときには目的音源の入射角θ1と傾斜角φ1を用いて、対応関係データで示される、両者の対応関係の関数を補正することができる。ユーザの発話がないときは、上記対応関係データの関数を用いて目的音源の入射角θSを推定することができる。これにより、マイクアレイ1の指向性が音源方向から外れないように制御することが可能になる。なお、指向性制御装置4の動作は、上記例に限られない。例えば、図4におけるOp6およびOp7の処理を省略してもよい。さらに、Op3、Op6およびOp7の処理を省略することもできるし、Op3、Op4およびOp5の処理も省略することもできる。
上記実施形態によれば、ユーザが発声している間、対応関係補正部8は、口方向と携帯電話の傾きの関係を最新の状態に更新しているため、ユーザが発声していない場合でも携帯電話の傾きの情報から口の方向を推定することができる。そのため、ユーザは、口方向を指向性から外すことなく通話をすることができる。すなわち、筐体の傾きの情報と音源方向の情報を統合することで、より確実に、目的の音源である口方向を指向性の範囲内に維持し、音声の抑圧を防止することが可能となる。
(第2の実施形態)
図6は、第2の実施形態にかかる指向性制御装置の構成の一例を示す機能ブロック図である。図6において、図1と同じ機能ブロックには同じ番号を付す。図6に示す指向性制御装置4aにおいて、記録部11は、履歴データを記録する履歴記録部としても機能する。履歴データは、傾き情報取得部7が取得した傾き情報と、その傾き情報取得時に取得された音源方向情報との組を蓄積したデータである。指向性制御装置4aは、この履歴記録部に蓄積された履歴データを用いて、対応関係データを生成する適応部14をさらに備える。これにより、傾きと音源方向との対応関係を学習し、実際の現象を反映した対応関係データを生成することができる。その結果、より適切な音源方向の推定が可能になる。
対応関係補正部8は、音源方向取得部5から出力された音源方向情報(例えば、入射角θ1)と、傾き情報取得部7から出力された傾き情報(例えば、傾斜角φ1)とを対応付けて記録部11へ記録する。対応関係補正部8は、ユーザが発声している間に、例えば、(θn、φn)の組みの情報を、記録部11に記録する。入射角θnと対応する傾斜角φnとを一組のレコードとして、複数のレコードが履歴データとして蓄積される。
適応部14は、蓄積された複数のレコードを用いて、入射角θと傾斜角φとの対応関係を示す関数またはマッピングテーブルを生成することができる。例えば、適応部14は、蓄積されたθとφの組みのサンプルを用いて平均値や分散を求め、目的音源の入射角と傾斜角の対応関係の関数を、この平均値や分散にフィットするように適応させることができる。一例として、適応部14は、入射角θと傾斜角φの散布図の一次直線近似により、対応関係を示す関数θ=Aφ+Bの係数A、Bを求めることができる。
ここで、適応処理の方法は、平均値や分散を用いる例に限定されない。例えば、複数の正規分布の組み合わせで目的音源の入射角と傾斜角の対応関係を確率分布として扱ってもよい。あるいは、傾斜角φごとのθの平均値を結ぶ線を、対応関係を示す関数として求めることもできる。
適応部14で生成された対応関係データは記録部11に記録される。適応部14は、記録部11の容量に余裕があれば、対応関係データを生成するたびに新たに保存し、蓄積してもよい。あるいは、古い対応関係データを捨てて新しい対応関係データに置き換えてもよい。例えば、記録部11には、予め標準的な対応関係を示す対応関係データを記録しておき、履歴データのレコードが所定数以上蓄積されると、適応部14が対応関係データを生成し、元の対応関係データと置き換えることができる。
図7は、適応部14によって生成される、対応関係を示す関数の一例を示す図である。図7に示す例では、φθ平面に、履歴データに含まれる過去の入射角θnと傾斜角φnの組がプロットされている。直線f1は、予め設定された標準的な対応関係の関数を示す直線であり、直線f2は、履歴データを基に、適応部14によって求められた対応関係の関数を示す直線である。直線f2の関数は、過去の入射角θと傾斜角φの組の一次直線近似により計算することができる。
なお、対応関係を示す関数は、一次関数に限られず、例えば、2次関数または高次関数であってもよい。また、例えば、第1の区間0<θ<45°では関数f1(φ)、第2の区間45°=<θ<90°では、関数f2(φ)というように、φの区間ごとに異なる関数が定義されてもよい。さらにまた、関数ではなく、入射角θと対応するφの平均値とを対応付けて記録したマッピングテーブルを対応関係データとして生成することもできる。
目的音源の入射角と傾斜角の対応関係の関数は、すべての人に共通ではない。体格や顔の形および持ち方の癖によって対応関係は異なる。本実施形態によれば、目的音源の入射角と傾斜角の対応関係の関数をユーザに適応することができる。例えば、携帯電話の傾斜角φと目的音の入射角θの組の履歴を用いて、ユーザの携帯電話の持ち方の癖や、顔の骨格のばらつきを、対応関係を示す関数に適応させることができる。例えば、ユーザのφとθの組を学習し、対応関係の関数を、ユーザの持ち方の癖や顔の骨格の違いに適応させることが可能である。
(第3の実施形態)
図8は、第3の実施形態にかかる指向性制御装置の構成の一例を示す機能ブロック図である。本実施形態は、指向性制御装置が携帯電話に設けられた場合の例である。図8において、図1と同じ機能ブロックには同じ番号を付す。図8に示す指向性制御装置4bは、携帯電話に設けられるマイクロホン1a、1bの指向性を制御する。
指向性制御装置4bは、左右判定部15をさらに備える。左右判定部15は、傾き情報を用いて、ユーザが前記携帯電話を右手で持っているか左手で持っているかを判断する。指向性制御装置4bにおいて、記録部11の対応関係データは、ユーザが携帯電話を右手で持っている場合のマイクロホン1a、1bの傾きと音源方向との関係を示す右手用データと、ユーザが携帯電話を左手で持っている場合のマイクロホン1a、1bの傾きと音源方向との関係を示す左手用データとを含む。
左右判定部15によりユーザが携帯電話を右手で持っていると判断された場合、対応関係補正部8は、右手用データを更新し、左手で持っていると判断された場合は左手用データを更新する。また、音源方向推定部10は、左右判定部15によりユーザが携帯電話を右手で持っていると判断された場合は右手用データを用いて音源方向を決定し、左手で持っていると判断された場合は左手用データを用いて音源方向を決定する。
上記構成により、指向性制御4bは、ユーザが携帯電話を右手で持っているか左手で持っているかを検出して、これにより指向性の制御を変えることが可能になる。
[動作例]
図9は、本実施形態の指向性制御装置4bの動作例を示すフローチャートである。図9に示す例では、左右判定部15が、加速度センサ12の情報から求められる傾斜角φにより、ユーザが右手で持っているのか左手で持っているのかを判断し、対応関係補正部8が、音源方向θと傾斜角φの対応関係を切り替える。
まず、傾き情報取得部7が、加速度センサ12から傾斜角φ1を取得する(S1)。左右判定部は、傾斜角φ1により、ユーザが右手で持っているか否かを判定する(S2)。ここで、図10Aおよび図10Bは、右手保持時および左手保持時それぞれについて、携帯電話の傾斜角と、対応関係データの例を示す図である。図10Aおよび図10Bに示す例では、一例として、携帯電話の右側面が水平でかつ下を向いた場合の傾斜角を0°とし、携帯電話の中心線と水平面とのなす角を傾斜角としている。
この場合、左右判定部15は、傾斜角が-90〜90°の場合に右手で持っていると判定し、傾斜角φが90°〜270°の場合に左手で持っていると判定することができる。なお、傾斜角φが90°の場合および-90°の場合には、持ち手が判定できないため、判定できるまでマイクアレイの指向性制御処理を止めるようにしてもよい。
また、図10Aの下段のグラフ中の直線f1は、右手用の対応関係を示す関数の一例である。図10Bの下段のグラフ中の直線f2は、右手用の対応関係を示す関数の一例である。このように、傾斜角φが右手の角度の範囲(一例として-90〜90°)にある場合の対応関係の関数を右手用データとし、傾斜角φが左手の角度の範囲(一例として90°〜270°)にある場合の対応関係の関数を左手用データとすることができる。
右手で持っていると判定された場合(S2でYes)、対応関係補正部8は、右手用のφとθの対応関係データを記録部11から取得する(S3)。そして、音源方向取得部5から得た入射角θ1と、傾き情報取得部7から得た傾斜角φ1を用いて、右手用のφとθの対応関係を示すデータを補正する(S4)。
左右判定部15は、再度、傾斜角φ2を測定し、傾斜角φ2が右手で持ったときの傾き角度か否か判定する(S5)。傾斜角φ2が右手の場合にはS4に戻る。右手でない角度になった場合には、対応関係補正部8は、左手用のφとθの対応関係の関数を取得する(S6)。
また、S2において、左手で持っていると判定された場合も、対応関係補正部8は、左手用のφとθの対応関係の関数を取得する(S6)。対応関係補正部8は、音源方向取得部5により検出された音源方向(例えば、入射角θ2)と傾き情報取得部7による傾斜角φ2の情報を用いてφとθの対応関係を補正する(S7)。その後、左右判定部15は、再度、傾斜角φ3を測定し、傾斜角φ3が右手で持ったときの傾き角度か否か判定する(S8)。傾斜角φ3が右手で持ったときの傾斜角である場合にはS3に移り、左手で持った状態の傾斜角である場合には、S7に戻る。以上の処理を通信が終了するまで繰り返す。
図9に示した動作例は、左右判定部15および対応関係補正部8の動作例である。図9の処理と同様にして、左右判定部15が、ユーザが右手で持っているのか左手で持っているのかを判断し、音源方向推定部10が、音源方向の推定に用いる対応関係データを右手の場合と左手の場合とで、切り替えることができる。例えば、S3およびS4の処理は、音源方向推定部10が、右手用の対応関係データを用いて、傾き情報取得部7から取得した傾斜角φ1によって音源方向を推定する処理に置き換えることが可能である。この場合、S6およびS7の処理は、音源方向推定部10が、左手用の対応関係データを用いて音源方向を推定する処理に置き換えられる。また、対応関係補正部8および音源方向推定部10の双方が、左右判定部15の判断結果に基づいて処理を切り替える態様とすることもできるし、少なくともいずれか1つが左右判定部15の判断結果に基づいて処理を切り替える態様とすることもできる。
(第4の実施形態)
図11は、第4の実施形態にかかる指向性制御装置の構成の一例を示す機能ブロック図である。本実施形態は、指向性制御装置が携帯電話に設けられた場合の例である。図11において、図1と同じ機能ブロックには同じ番号を付す。図11に示す指向性制御装置4cは、携帯電話に設けられるマイクロホン1a、1bの指向性を制御する。
指向性制御装置4cは、音源方向取得部5で取得される音源方向情報に応じて、マイクロホンから入力された音信号を増幅する時のゲインを調整することにより、マイクロホンから出力される音の音量を制御するマイクゲイン制御部16をさらに備える。これにより、携帯電話で通話中のユーザの口とマイクロホンとの相対位置関係の変化に応じて、マイクロホンの音量を調整することができる。
例えば、マイクゲイン制御部16は、口とマイクが離れている状態を口方向の入射角θの値を使って判定することができる。マイクゲイン制御部16は、口とマイクが離れている判定すると、マイクゲインを上げる。なお、マイクゲイン制御部16は、指向性制御部9と音響処理部3の間に挿入されてもよい。
図12は、入射角θとマイクゲインの関係の一例を表す図である。図12に示す例では、入射角θがある閾値(例えば、40°)より小さい場合には、マイクゲインは変化させず、入射角θが閾値を越えると、マイクゲインを上げるように制御される。すなわち、入射角θが小さいうちは、口とマイク間の距離は小さいため、マイクゲインを上げなくてもよい。入射角θが大きい場合には、携帯電話の持ち方が垂直に近いような状況になるため、口とマイク間の距離が大きくなる。そのため、入射角θが大きい場合は、マイクロホンから出力される音の音量が小さくなるのを抑えるため、マイクゲインを上げることが好ましい。これにより、マイクアレイ処理部から出力する音の音量を上げて、声が聞こえる程度の音量になるようにマイクゲイン制御部16で制御することができる。
(第5の実施形態)
図13は、第5の実施形態にかかる指向性制御装置の構成の一例を示す機能ブロック図である。本実施形態は、指向性制御装置が携帯電話に設けられた場合の例である。図13において、図1と同じ機能ブロックには同じ番号を付す。図13に示す指向性制御装置4dは、携帯電話に設けられるマイクロホン1a、1bの指向性を制御する。
指向性制御装置4dは、携帯電話の運動を検知して携帯電話を持ったユーザが歩行中であるか否かを判断する歩行判定部17をさらに備える。例えば、歩行判定部17は、加速度センサ12で検出される加速度と、予め記録された加速度のパターンとを比較することによって、歩行状態か否かを判断することができる。この判断には、加速度センサを用いた歩数計の技術を用いることができる。また、携帯電話の運動を検知する方法は、加速度センサを用いる方法に限られない。例えば、バネ等の弾性体に接続された振り子を用いて歩行動作を検出することもできる。また、携帯電話に予め搭載されている歩数計の加速度センサを利用してもよい。
指向性制御部9は、歩行判定部17により歩行中であると判断された場合に指向性を広げる。指向性を広げる処理の例として、選択的に取り出す音の入射角を広げる処理や、雑音として抑制する範囲を狭める処理等が挙げられる。図13に示す構成により、ユーザが歩行状態か否かによって指向性を広げたり狭めたりすることが可能になる。
図14は、指向性制御装置4dが、ユーザが歩行状態か否かを判定して指向性を制御する動作例を示すフローチャートである。図中の“flag”は、指向性をα°だけ広げているか(flag=1)、広げていないか(flag=0)を表すフラグである。
まず、指向性制御装置4dは、フラグを初期化(flag=0)し、広げていない状態を初期値とする(S11)。歩行判定部17は、加速度センサ12の情報から歩行状態か否かの情報を取得する(S12)。次に、指向性制御部9は、歩行状態か否かで処理を切り替える(S13)。
歩行状態であれば(S13でYes)、指向性制御部9は、指向性を広げているかどうかを示すフラグflagの値が“1”であるか否かを判断し(S14)、flagが“1”でなければ、指向性をα°だけ広げてflagに“1”を代入する(S15)。α°だけ広げる処理は、例えば、ポーラパターンの受音範囲の両側を一定量(例えば10°)ずつ広げる処理とすることができる。これにより、ユーザの歩行により口の位置が受音範囲から外れるのを防ぐことができる。flagが“1”である場合には既に指向性を広げた状態であるので、指向性制御部9は何もしない。そして、S16において、音源方向と傾き情報によるφとθの対応関係の補正を行う。この補正は、上記第1〜4の実施形態で述べた補正と同様に実行できる。そして、S12に戻る。
S13において歩行状態でない(S13でNo)と判定された場合には、指向性制御部9は、flagの値が“1”であるか否か判断する(S17)。flagが“1”であれば、指向性制御部9は、既にα°広げた指向性を元に戻し、flagに“0”を代入し(S18)、S16に移る。flagが“0”の場合はS16の処理に戻る。
上記本実施形態によれば、歩行状態によって、指向性と口の関係が激しく変動するような場合であっても、指向性の受音範囲に余裕を持たせることにより、受音範囲から口がずれることを防ぐことが可能となる。すなわち、口とマイクの位置関係が変わりやすい歩行状態での通話時においても、音声抑圧を起こさず通話を行うことが可能となる。
(第6の実施形態)
図15は、第6の実施形態にかかる指向性制御装置の構成の一例を示す機能ブロック図である。本実施形態は、指向性制御装置が携帯電話に設けられた場合の例である。図15において、図1と同じ機能ブロックには同じ番号を付す。図15に示す指向性制御装置4eは、携帯電話に設けられるマイクロホン1a、1bの指向性を制御する。
指向性制御装置4eは、携帯電話の運動を検知して、前記携帯機器の運動が異常であるか否かを判断する異常運動判定部18をさらに備える。例えば、異常運動判定部18は、加速度センサ12で検出される加速度と、予め記録された加速度のパターンとを比較することによって、運動が異常であるか否かを判断することができる。
例えば、異常運動判定部18は、加速度センサ12が所定値より強い衝撃を検出した場合、携帯電話を落とす、あるいは、通話中に人にぶつかるといった異常運動がなされたと判断することができる。また、加速度センサ12による検出される加速度の変化パターンが、歩行運動の変化パターンより早く変化している場合(通常歩行よりも加速度の変化が大きい場合)、通話しながら階段を駆け上がる、あるいは降りるといった運動をしていると判断することができる。さらに、傾き情報取得部7で取得される携帯電話の傾斜角により、携帯電話が横向きに一定時間以上置かれた状態であることが検出された場合、携帯電話を机の上において通話していると判断することができる。
指向性制御部9は、異常運動判定部18により携帯電話の運動が異常と判断された場合には、指向性を広げることができる。指向性を広げる処理は、上記第5の実施形態と同様に実行することができる。また、対応関係補正部8は、異常運動判定部18により携帯電話の運動が異常と判断された場合には、対応関係データの更新をしないようにすることができる。指向性制御部9および対応関係補正部8の処理がいずれも実行される態様であってもよいし、いずれか一方のみが実行される態様であってもよい。
本実施形態によれば、通話中に携帯電話が異常な運動(例えば、ユーザが携帯電話を落とす、携帯電話が何かとぶつかる等)を行っても、指向性の受音範囲に余裕を持たせることにより、受音範囲から口がずれることを防ぐことが可能となる。すなわち、口とマイクの位置関係が大きく変化しやすい異常運動状態での通話時においても、音声抑圧を起こさず通話を行うことが可能となる。その結果、音声抑圧や雑音の誤推定を防ぐことが可能となる。
(第7の実施形態)
図16は、第7の実施形態にかかる指向性制御装置の構成の一例を示す機能ブロック図である。本実施形態は、指向性制御装置が携帯電話に設けられた場合の例である。図16において、図1と同じ機能ブロックには同じ番号を付す。
指向性制御装置4fは、背景雑音レベルを推定する雑音レベル推定部19をさらに備える。雑音レベル推定部19で推定される背景雑音レベルが閾値を超えた場合には、指向性制御部9は、記録部11の対応関係データを用いて、傾き情報取得部7で取得される傾き情報に対応する音源の方向を決定する音源方向推定部10により推定された音源の方向に応じてマイクロホン1a、1bの指向性を制御する。
本実施形態では、音源方向推定部10は、目的音判定部6により目的音が検出されていない、または背景雑音レベルが大きいと判断された場合に、傾き情報取得部7で取得される傾き情報に対応する音源の方向を、対応関係データを用いて決定する。
雑音レベル推定部19は、目的音判定部6に入力される音信号の情報を用いて、背景雑音レベルを推定する。背景雑音レベルが閾値を超える場合には、目的音検出が正しく行うことが困難であるので、背景雑音レベルが大きいと判定する。例えば、背景雑音レベルの閾値としては非常に騒がしい環境での騒音レベルである80〜90dBAを設定することができる。背景雑音レベルの推定は、無音と判定された区間の音信号のパワーの時間平均を算出することで求めることができるが、この方法に限定されず、その他の背景雑音レベルを求める方法を用いることもできる。
本実施形態では、指向性制御装置4fは、背景雑音レベルを推定する手段をさらに持ち、背景雑音レベルがしきい値を超えた場合には、加速度センサ12からの情報と、携帯端末の傾斜角φと口からの入射角θの座標合わせの対応関係データを用いて口の方向を推定し、マイクアレイの指向性を制御することができる。
なお、上記第1〜7の実施形態は、携帯電話に限られず、その他、マイク機能付きの機器、例えば、PDA、ゲーム機、GPS、カーナビゲーション、車載電話機等に適用することができる。また、上記実施形態の指向性制御装置を備えた携帯機器等の電子機器も本発明の実施形態に含まれる。さらに、上記第1〜6の実施形態のうち少なくとも2つの形態の組み合わせた形態も本発明に含まれる。
1 マイクアレイ
2 受音部
3 音響処理部
4 指向性制御装置
5 音源方向取得部
6 目的音判定部
7 傾き情報取得部
8 対応関係補正部
9 指向性制御部
10 音源方向推定部
11 記録部
12 加速度センサ
13 筐体
14 適応部
15 左右判定部
16 マイクゲイン制御部
17 歩行判定部
18 異常運動判定部
19 雑音レベル推定部

Claims (13)

  1. 少なくとも2個のマイクロホンと、当該マイクロホンが設けられる筐体の傾きを測定可能なセンサと連携動作可能な指向性制御装置であって、
    前記筐体の傾きを示す傾き情報を前記センサから取得する傾き情報取得部と、
    前記マイクロホンから取得した音情報に基づいて、音源の方向を示す音源方向情報を計算する音源方向取得部と、
    前記筐体の傾きと前記マイクロホンに対する前記音源の方向との関係を示す対応関係データを記録する記録部と、
    前記音情報が目的音か否かを判断する目的音判定部と、
    前記音情報が目的音と判断された場合に、前記音源方向情報および前記傾き情報に基づいて、前記対応関係データを更新する対応関係補正部と、
    前記音情報が目的音でないと判断された場合に、前記対応関係データを用いて前記傾き情報取得部で取得される傾き情報に対応する音源の方向を決定する音源方向推定部と、
    前記音情報が目的音と判断された場合は、前記音源方向取得部により取得された音源方向情報に応じて、前記音情報が目的音でないと判断された場合は、前記音源方向推定部により決定された音源の方向に応じて、前記マイクロホンの指向性を調整する指向性制御部とを備える、指向性制御装置。
  2. 前記目的音判定部により取得した音情報が目的音でないと判断され、且つ前記筐体の傾きが大きくなるように変化した場合に、前記音源方向推定部は、前記対応関係データを用いて前記傾き情報に対応する音源の方向を決定する、請求項1に記載の指向性制御装置。
  3. 前記目的音判定部により取得した音情報が目的音でないと判断され、且つ前記筐体の傾きが小さくなるように変化した場合は、前記指向性制御部は、前記音源と前記マイクロホンとの相対位置関係が変化していないとみなし、前記マイクロホンの指向性を維持し、前記対応関係補正部は、当該傾きの変化に応じて前記対応関係データを補正する、請求項1または2に記載の指向性制御装置。
  4. 前記傾き情報取得部が取得した傾き情報と、該傾き情報取得時に取得された音源方向情報との組を蓄積した履歴データを記録する履歴記録部と、
    前記履歴記録部に記録された前記履歴データが所定数以上蓄積されると、前記履歴データを用いて、前記傾き情報と前記音源方向情報の対応関係を表す関数を求め、該関数を用いて前記対応関係データを生成する適応部をさらに備える、請求項1又は2に記載の指向性制御装置。
  5. 背景雑音レベルを推定する雑音レベル推定部をさらに有し、
    前記背景雑音レベルがしきい値を超えた場合には、前記指向性制御部は、前記対応関係データを用いて前記傾き情報取得部で取得される傾き情報に対応する音源の方向を決定する音源方向推定部により推定された音源の方向に応じて前記マイクロホンの指向性を制御する、請求項1、2、4のいずれか1項に記載の指向性制御装置。
  6. 携帯電話に設けられるマイクロホンの指向性を制御する指向性制御装置であって、
    前記傾き情報を用いて、ユーザが前記携帯電話を右手で持っているか左手で持っているかを判断する左右判定部をさらに備え、
    前記対応関係データは、ユーザが前記携帯電話を右手で持っている場合の前記筐体の傾きと音源方向との関係を示す右手用データと、ユーザが前記携帯電話を左手で持っている場合の前記マイクロホンの傾きと音源方向との関係を示す左手用データとを含み、
    前記対応関係補正部は、前記左右判定部によりユーザが携帯電話を右手で持っていると判断された場合は前記右手用データを更新し、左手で持っていると判断された場合は前記左手用データを更新し、
    前記音源方向推定部は、前記左右判定部によりユーザが携帯電話を右手で持っていると判断された場合は前記右手用データを用いて音源方向を決定し、左手で持っていると判断された場合は前記左手用データを用いて音源方向を決定する、請求項1、2、4、5のいずれか1項に記載の指向性制御装置。
  7. 携帯電話に設けられるマイクロホンの指向性を制御する指向性制御装置であって、
    前記携帯電話の運動を検知して前記携帯電話を持ったユーザが歩行中であるか否かを判断する、歩行判定部をさらに備え、
    前記指向性制御部は、前記歩行判定部により歩行中であると判断された場合に、指向性を広げる、請求項1、2、4〜6のいずれか1項に記載の指向性制御装置。
  8. 携帯電話に設けられるマイクロホンの指向性を制御する指向性制御装置であって、
    前記音源方向取得部で取得される音源方向情報に応じて、前記マイクロホンの出力する音の音量を制御する、マイクゲイン制御部をさらに備える、請求項1、2、4〜7のいずれか1項に記載の指向性制御装置。
  9. 携帯機器に設けられるマイクロホンの指向性を制御する指向性制御装置であって、
    前記携帯電話の運動を検知して前記携帯機器の運動が異常であるか否かを判断する判断する、異常運動判定部をさらに備え、
    前記対応関係補正部は、前記異常運動判定部により前記携帯機器の運動が異常と判断された場合には、前記対応関係データの更新をしないことを特徴とする、請求項1、2、4〜8のいずれか1項に記載の指向性制御装置。
  10. 携帯機器に設けられる指向性制御装置であって、
    前記携帯電話の運動を検知して前記携帯機器の運動が異常であるか否かを判断する判断する、異常運動判定部をさらに備え、
    前記指向性制御部は、前記異常運動判定部により前記携帯機器の運動が異常と判断された場合には、指向性を広げる、請求項1、2、4〜9のいずれか1項に記載の指向性制御装置。
  11. 音の入力機能を有する携帯機器であって、
    指向性制御可能なマイクロホンと、
    前記携帯機器の動きを検知するセンサと、
    前記センサで検出される前記携帯機器の動きから、前記携帯機器の傾きを示す情報を取得する、傾き情報取得部と、
    前記マイクロホンで取得した音情報を用いて目的音の音源の方向を示す音源方向情報を計算する音源方向取得部と、
    前記携帯機器の傾きと前記マイクロホンに対する前記音源の方向との関係を示す対応関係データを記録する記録部と、
    前記マイクロホンで取得した音情報が目的音か否かを判断する目的音判定部と、
    前記目的音判定部により取得した音情報が目的音と判断された場合に、前記音源方向情報および前記傾き情報に基づいて前記対応関係データを更新する対応関係補正部と、
    前記目的音判定部により取得した音情報が目的音でないと判断された場合に、前記傾き情報に対応する音源の方向を、前記対応関係データを用いて決定する音源方向推定部と、
    前記音情報が目的音と判断された場合は、前記音源方向取得部により取得された音源方向情報に応じて、前記音情報が目的音でないと判断された場合は、前記音源方向推定部により決定された音源の方向に応じて、前記マイクロホンの指向性を調整する指向性制御部とを備える、携帯機器。
  12. 少なくとも2個のマイクロホンと、当該マイクロホンが設けられる筐体の傾きを測定可能なセンサと連携動作可能なコンピュータを制御するための、指向性制御プログラムであ
    って、
    前記筐体の傾きを示す傾き情報を前記センサから取得する傾き情報取得処理と、
    前記マイクロホンで取得した音情報を用いて音源の方向を示す音源方向情報を計算する音源方向取得処理と、
    前記筐体の傾きと前記マイクロホンに対する前記音源の方向との関係を示す対応関係データを記録した記録部にアクセスする処理と、
    前記マイクロホンで取得した音情報が目的音か否かを判断する目的音判定処理と、
    前記音情報が目的音と判断された場合に、前記音源方向情報および前記傾き情報に基づいて、前記対応関係データを更新する対応関係補正処理と、
    前記音情報が目的音でないと判断された場合に、前記対応関係データを用いて前記傾き情報に対応する音源の方向を決定する音源方向推定処理と、
    前記音情報が目的音と判断された場合は、前記音源方向取得処理により取得された音源方向情報に応じて、前記音情報が目的音でないと判断された場合は、前記音源方向推定処理により決定された音源の方向に応じて、前記マイクロホンの指向性を調整する指向性制御処理とをコンピュータに実行させる、指向性制御プログラム。
  13. 少なくとも2個のマイクロホンと、当該マイクロホンが設けられる筐体の傾きを測定可能なセンサと連携動作可能なコンピュータが実行するマイクロホンの指向性制御方法であって、
    前記筐体の傾きを示す傾き情報を前記センサから取得する傾き情報取得工程と、
    前記筐体で取得した音情報を用いて音源の方向を示す音源方向情報を計算する音源方向取得工程と、
    前記筐体の傾きと前記マイクロホンに対する前記音源の方向との関係を示す対応関係データを記録した記録部にアクセスする工程と、
    前記音情報が目的音か否かを判断する目的音判定工程と、
    前記音情報が目的音と判断された場合に、前記音源方向情報および前記傾き情報に基づいて前記対応関係データを更新する対応関係補正工程と、
    前記音情報が目的音でないと判断された場合に、前記対応関係データを用いて前記傾き情報取得工程で取得される傾き情報に対応する音源の方向を決定する音源方向推定工程と、
    前記音情報が目的音と判断された場合は、前記音源方向取得工程により取得された音源方向情報に応じて、前記音情報が目的音でないと判断された場合は、前記音源方向推定工程により決定された音源の方向に応じて、前記マイクロホンの指向性を調整する指向性制御工程とを含む、指向性制御方法。
JP2009295188A 2009-12-25 2009-12-25 マイクロホンの指向性制御装置 Expired - Fee Related JP5407848B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009295188A JP5407848B2 (ja) 2009-12-25 2009-12-25 マイクロホンの指向性制御装置
US12/965,227 US8804978B2 (en) 2009-12-25 2010-12-10 Microphone directivity control apparatus
EP10195972.4A EP2339868A3 (en) 2009-12-25 2010-12-20 Microphone directivity control apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009295188A JP5407848B2 (ja) 2009-12-25 2009-12-25 マイクロホンの指向性制御装置

Publications (2)

Publication Number Publication Date
JP2011135489A JP2011135489A (ja) 2011-07-07
JP5407848B2 true JP5407848B2 (ja) 2014-02-05

Family

ID=43798352

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009295188A Expired - Fee Related JP5407848B2 (ja) 2009-12-25 2009-12-25 マイクロホンの指向性制御装置

Country Status (3)

Country Link
US (1) US8804978B2 (ja)
EP (1) EP2339868A3 (ja)
JP (1) JP5407848B2 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9313306B2 (en) 2010-12-27 2016-04-12 Rohm Co., Ltd. Mobile telephone cartilage conduction unit for making contact with the ear cartilage
CN106027713B (zh) 2010-12-27 2020-07-07 株式会社精好 移动电话、声音输出装置、收听系统和收听设备
JP5783352B2 (ja) 2011-02-25 2015-09-24 株式会社ファインウェル 会話システム、会話システム用指輪、携帯電話用指輪、指輪型携帯電話、及び、音声聴取方法
EP2509337B1 (en) * 2011-04-06 2014-09-24 Sony Ericsson Mobile Communications AB Accelerometer vector controlled noise cancelling method
US9246543B2 (en) * 2011-12-12 2016-01-26 Futurewei Technologies, Inc. Smart audio and video capture systems for data processing systems
JP6162386B2 (ja) * 2012-11-05 2017-07-12 株式会社ファインウェル 携帯電話
TWI666910B (zh) 2012-01-20 2019-07-21 日商精良股份有限公司 mobile phone
US20130332156A1 (en) * 2012-06-11 2013-12-12 Apple Inc. Sensor Fusion to Improve Speech/Audio Processing in a Mobile Device
TWI702853B (zh) 2012-06-29 2020-08-21 日商精良股份有限公司 行動電話
JP2014093697A (ja) * 2012-11-05 2014-05-19 Yamaha Corp 音響再生システム
US8774855B2 (en) * 2012-11-09 2014-07-08 Futurewei Technologies, Inc. Method to estimate head relative handset location
EP2819429B1 (en) * 2013-06-28 2016-06-22 GN Netcom A/S A headset having a microphone
KR101877652B1 (ko) 2013-08-23 2018-07-12 로무 가부시키가이샤 휴대 전화
US9894454B2 (en) 2013-10-23 2018-02-13 Nokia Technologies Oy Multi-channel audio capture in an apparatus with changeable microphone configurations
KR101926586B1 (ko) 2013-10-24 2018-12-10 파인웰 씨오., 엘티디 팔찌형 송수화 장치, 팔찌형 통지 장치
WO2015117919A1 (en) 2014-02-04 2015-08-13 Tp Vision Holding B.V. Handheld device with microphone
US10107676B2 (en) 2014-03-18 2018-10-23 Robert Bosch Gmbh Adaptive acoustic intensity analyzer
US9432768B1 (en) * 2014-03-28 2016-08-30 Amazon Technologies, Inc. Beam forming for a wearable computer
JP6385699B2 (ja) * 2014-03-31 2018-09-05 株式会社東芝 電子機器および電子機器の制御方法
JP6551919B2 (ja) 2014-08-20 2019-07-31 株式会社ファインウェル 見守りシステム、見守り検知装置および見守り通報装置
WO2016098820A1 (ja) 2014-12-18 2016-06-23 ローム株式会社 電磁型振動ユニットを用いた軟骨伝導聴取装置、および電磁型振動ユニット
CN106205628B (zh) * 2015-05-06 2018-11-02 小米科技有限责任公司 声音信号优化方法及装置
KR102056550B1 (ko) 2015-07-15 2019-12-16 파인웰 씨오., 엘티디 로봇 및 로봇 시스템
EP3329692B1 (en) * 2015-07-27 2021-06-30 Sonova AG Clip-on microphone assembly
JP6551929B2 (ja) 2015-09-16 2019-07-31 株式会社ファインウェル 受話機能を有する腕時計
WO2017126406A1 (ja) 2016-01-19 2017-07-27 ローム株式会社 ペン型送受話装置
WO2018076324A1 (zh) * 2016-10-31 2018-05-03 华为技术有限公司 音频处理的方法和终端设备
JP2019175159A (ja) 2018-03-28 2019-10-10 カシオ計算機株式会社 電子機器、音声入力感度制御方法、及び音声入力感度制御プログラム
JP2020053948A (ja) 2018-09-28 2020-04-02 株式会社ファインウェル 聴取装置
US20210244313A1 (en) * 2020-02-10 2021-08-12 Samsung Electronics Co., Ltd. System and method for conducting on-device spirometry test
CN113496708B (zh) * 2020-04-08 2024-03-26 华为技术有限公司 拾音方法、装置和电子设备
CN113345455A (zh) * 2021-06-02 2021-09-03 云知声智能科技股份有限公司 一种佩戴式设备语音信号处理装置及方法
CN113630708B (zh) * 2021-08-13 2023-08-29 RealMe重庆移动通信有限公司 耳机麦克风异常检测的方法、装置、耳机套件及存储介质
CN113640744A (zh) * 2021-08-20 2021-11-12 歌尔科技有限公司 声源定位方法及音频设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7561700B1 (en) * 2000-05-11 2009-07-14 Plantronics, Inc. Auto-adjust noise canceling microphone with position sensor
US6549756B1 (en) * 2000-10-16 2003-04-15 Xoucin, Inc. Mobile digital communication/computing device including heart rate monitor
JP4138290B2 (ja) 2000-10-25 2008-08-27 松下電器産業株式会社 ズームマイクロホン装置
EP1202602B1 (en) 2000-10-25 2013-05-15 Panasonic Corporation Zoom microphone device
GB2375276B (en) * 2001-05-03 2003-05-28 Motorola Inc Method and system of sound processing
WO2007099908A1 (ja) * 2006-02-27 2007-09-07 Matsushita Electric Industrial Co., Ltd. ウェアラブル端末、および、携帯撮像収音装置、およびそれらを実現する装置、方法、プログラム
JP4138820B2 (ja) * 2006-05-22 2008-08-27 Sky株式会社 携帯端末
JP4887968B2 (ja) 2006-08-09 2012-02-29 ヤマハ株式会社 音声会議装置
JP2008167323A (ja) 2006-12-28 2008-07-17 Yamaha Corp 携帯電話端末
JP4799443B2 (ja) * 2007-02-21 2011-10-26 株式会社東芝 受音装置及びその方法
JP2009010593A (ja) * 2007-06-27 2009-01-15 Yamaha Corp 携帯通信端末
JP2009080309A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 音声認識装置、音声認識方法、音声認識プログラム、及び音声認識プログラムを記録した記録媒体
US8509454B2 (en) * 2007-11-01 2013-08-13 Nokia Corporation Focusing on a portion of an audio scene for an audio signal
JP2010050571A (ja) * 2008-08-19 2010-03-04 Yamaha Corp 収音装置
JP5206234B2 (ja) * 2008-08-27 2013-06-12 富士通株式会社 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム
JP2010283541A (ja) * 2009-06-03 2010-12-16 Fujitsu Ltd 携帯型無線通信装置およびその制御方法
JP2009295188A (ja) 2009-09-18 2009-12-17 Shinichi Koyano 冠婚葬祭やパーティーにおけるお祝金、香典とお祝、お悔みの新システム

Also Published As

Publication number Publication date
US20110158425A1 (en) 2011-06-30
JP2011135489A (ja) 2011-07-07
EP2339868A3 (en) 2015-04-15
US8804978B2 (en) 2014-08-12
EP2339868A2 (en) 2011-06-29

Similar Documents

Publication Publication Date Title
JP5407848B2 (ja) マイクロホンの指向性制御装置
JP6190351B2 (ja) 学習型補聴器
JP6621613B2 (ja) 音声操作システム、サーバー装置、車載機器および音声操作方法
JP3771812B2 (ja) ロボットおよびその制御方法
US10861484B2 (en) Methods and systems for speech detection
JP5493611B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20190014429A1 (en) Blocked microphone detection
US20120166190A1 (en) Apparatus for removing noise for sound/voice recognition and method thereof
KR101402551B1 (ko) 음성 활동 감지(vad) 장치 및 잡음 억제 시스템을 함께 이용하기 위한 방법
JP2008064892A (ja) 音声認識方法およびそれを用いた音声認識装置
CN111447523B (zh) 耳机及其降噪方法、计算机可读存储介质
JP2012168499A (ja) 音声補正装置、音声補正方法及び音声補正プログラム
KR20150018727A (ko) 청각 기기의 저전력 운용 방법 및 장치
JP2017011699A (ja) 能力に基づく補聴器のin situ最適化
JP6374936B2 (ja) 音声認識方法、音声認識装置及びプログラム
KR20150004080A (ko) 보청기 및 보청기 제어 방법
CN109996137A (zh) 麦克风装置和耳机
CN105356861A (zh) 一种有源降噪的方法和系统
JP2003241788A (ja) 音声認識装置及び音声認識システム
CN114567849B (zh) 一种检测方法及装置、无线耳机、存储介质
JP2017216525A (ja) 雑音抑圧装置、雑音抑圧方法及び雑音抑圧用コンピュータプログラム
JP6163924B2 (ja) 雑音検出装置、雑音検出方法、雑音低減装置、雑音低減方法、通信装置およびプログラム。
JP2005354223A (ja) 音源情報処理装置、音源情報処理方法、音源情報処理プログラム
JP2021184282A (ja) 音声操作装置及びその制御方法
JP6194740B2 (ja) 音声処理装置、音声処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130805

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130806

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130808

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131021

LAPS Cancellation because of no payment of annual fees