JP6747538B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP6747538B2
JP6747538B2 JP2019038212A JP2019038212A JP6747538B2 JP 6747538 B2 JP6747538 B2 JP 6747538B2 JP 2019038212 A JP2019038212 A JP 2019038212A JP 2019038212 A JP2019038212 A JP 2019038212A JP 6747538 B2 JP6747538 B2 JP 6747538B2
Authority
JP
Japan
Prior art keywords
user
voice
unit
voice acquisition
acquisition unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019038212A
Other languages
English (en)
Other versions
JP2019134441A (ja
Inventor
俊之 関矢
俊之 関矢
秀人 森
秀人 森
誠 羽生田
誠 羽生田
優 東ヶ崎
優 東ヶ崎
雄哉 平野
雄哉 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2019134441A publication Critical patent/JP2019134441A/ja
Application granted granted Critical
Publication of JP6747538B2 publication Critical patent/JP6747538B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008Earpieces of the supra-aural or circum-aural type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/02Details casings, cabinets or mounting therein for transducers covered by H04R1/02 but not provided for in any of its subgroups
    • H04R2201/023Transducers incorporated in garment, rucksacks or the like
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • User Interface Of Digital Computer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本開示は、情報処理装置に関する。
近年、ユーザの体の任意の場所に装着して、ユーザの状態をセンシングしたり、周囲の様子を撮像又は録音等したり、多様な情報をユーザに出力したりするウェアラブルデバイスが普及しつつある。例えば、ウェアラブルデバイスは、ライフログの分野やスポーツ支援の分野等の多様な分野で利用されている。
ウェアラブルデバイスが取得する情報は、装着場所やユーザの状態、周囲の環境から多大な影響を受け得る。例えば、音声に関しては、ユーザの口から発せられる音声(以下、ユーザ音声とも称する)は、ウェアラブルデバイスと衣服との摩擦音や振動に係る音、周囲の環境音等の雑音に埋もれてしまう場合がある。このため、ユーザ音声をより鮮明に取得するための技術が求められている。
例えば、下記特許文献1では、ヘッドセットにマイクを2つ設け、各マイクから入力された音声信号をマイクロホンアレー処理することで、雑音を抑圧してユーザ音声を強調した音声信号を取得する技術が開示されている。
特開2005−303574号公報
しかし、本技術分野では、さらなる性能向上が望まれている。そこで、本開示では、より鮮明にユーザ音声を取得することが可能な、新規かつ改良された音声処理システムを提案する。
本開示によれば、ユーザに装着される装着部を備え、前記装着部は、ビームフォーミングのための音声データを取得する音声取得部を少なくとも3つ有する、音声処理システムが提供される。
以上説明したように本開示によれば、より鮮明にユーザ音声を取得することが可能である。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本実施形態に係る音声処理システムの外観構成の一例を示す図である。 本実施形態に係る音声処理システムの外観構成の一例を示す図である。 本実施形態に係る音声処理システムの外観構成の一例を示す図である。 本実施形態に係る音声処理システムの外観構成の他の一例を示す図である。 本実施形態に係る音声処理システムの外観構成の他の一例を示す図である。 比較例に係る音声処理システムの外観構成の一例を示す図である。 本実施形態に係る音声取得部の配置方針について説明するための図である。 本実施形態に係る音声取得部の配置方針について説明するための図である。 本実施形態に係る音声取得部の配置方針について説明するための図である。 本実施形態に係る音声取得部の配置方針について説明するための図である。 本実施形態に係る音声処理システムの内部構成の一例を示すブロック図である。 本実施形態に係る音声処理システムにおいて実行される音声信号処理の流れの一例を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の要素を、必要に応じて音声取得部110A、110B及び110Cのように区別する。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、音声取得部110A、110B及び110Cを特に区別する必要が無い場合には、単に音声取得部110と称する。
なお、説明は以下の順序で行うものとする。
1.外観構成
2.音声取得部の配置
2−1.配置方針
2−2.実際の配置例
3.内部構成
4.動作処理
5.まとめ
<1.外観構成>
まず、図1〜図6を参照して、本開示の一実施形態に係る音声処理システムの外観構成を説明する。
図1〜図3は、本実施形態に係る音声処理システムの外観構成の一例を示す図である。図1〜図3に示すように、本実施形態に係る音声処理システム1は、首の両側から後ろ側(背中側)にかけて半周回するような形状の装着ユニット(装着部)を有する。そして、装着ユニットは、ユーザの首にかけられることでユーザに装着される。なお、図1〜図3は、装着ユニットをユーザが装着した状態を各観点からみた図を示しており、具体的には、図1は、斜視図であり、図2はユーザの右側からみた側面図であり、図3はユーザの上側からみた平面図である。
なお、本明細書では、上下左右前後といった方向を示す言葉を用いるが、これらの方向は後述する図8に示すようなユーザの直立姿勢における、ユーザの体の中心(例えば鳩尾の位置)からみた方向を示すものとする。例えば、「右」とはユーザの右半身側の方向を示し、「左」とはユーザの左半身側の方向を示し、「上」とはユーザの頭側の方向を示し、「下」とはユーザの足側の方向を示すものとする。また、「前」とはユーザの体が向く方向を示し、「後」とはユーザの背中側の方向を示すものとする。
図1〜図3に示すように、本実施形態に係る装着ユニットは、ユーザの首回りに装着される首かけ型であってもよい。装着ユニットは、ユーザの首に密着して装着されてもよいし、離間して装着されてもよい。首かけ型の装着ユニットの他の形状としては、例えば首下げ紐によりユーザに装着されるペンダント型や、頭にかけるヘッドバンドの代わりに首の後ろ側を通るネックバンドを有するヘッドセット型が考えられる。
装着型ユニットの使用形態は、人体に直接的に装着されて使用される形態であってもよい。直接的に装着されて使用される形態とは、装着型ユニットと人体との間に何らの物体も存在しない状態で使用される形態を指す。例えば、図1〜図3に示した装着ユニットが、ユーザの首の肌に接するように装着される場合は、本形態に該当する。他にも、頭部に直接的に装着されるヘッドセット型やメガネ型等の多様な形態が考えられる。
装着型ユニットの使用形態は、人体に間接的に装着されて使用される形態であってもよい。間接的に装着されて使用される形態とは、装着型ユニットと人体との間に何らかの物体が存在する状態で使用される形態を指す。例えば、図1〜図3に示した装着ユニットが、シャツの襟の下に隠れるように装着される等、服の上からユーザに接するように装着される場合は、本形態に該当する。他にも、首下げ紐によりユーザに装着されるペンダント型や、衣服に留め具等で留められるブローチ型等の多様な形態が考えられる。
装着ユニットは、図1〜図3に示すように、複数の音声取得部110(110A、110B、110C及び110D)を有している。音声取得部110は、ユーザ音声、ユーザの話し相手が発話した音声、又は周囲の環境音等の音声データを取得する。音声取得部110により取得された音声データは、ユーザ音声を鮮明にしたり、ユーザの話し相手が発話した音声を鮮明にしたり、他の雑音を抑圧したりするビームフォーミング処理の対象となる。図1〜図3に示すように、音声取得部がユーザに直に接しないようユーザ側に面しない部分(例えば、ユーザに接する面と反対側の面)に設けられる場合、首と装着ユニットとの摩擦により発生する雑音の影響を低減することができる。なお、図1〜図3では、装着ユニットに音声取得部110が4つ設けられる構成を示したが、本技術はかかる例に限定されない。例えば、装着ユニットは、音声取得部を少なくとも3つ有していてもよく、5つ以上有していてもよい。
本実施形態に係る音声処理システム1は、装着ユニット単体として実現されてもよいし、複数の装置の組み合わせとして実現されてもよい。例えば、音声処理システム1は、図1〜図3に示した首かけ型の装着ユニット及び腕に装着されるリストバンド型の装着ユニットの組み合わせとして実現されてもよい。そして、音声処理システム1は、複数の装置に設けられた複数の音声取得部により取得された音声データを用いてビームフォーミング処理を行ってもよい。なお、以下では、音声処理システム1は図1〜図3に示した装着ユニット単体として実現されるものとして説明を行う。
装着ユニットの他の例を、図4及び図5に示した。図4及び図5は、本実施形態に係る音声処理システムの外観構成の他の一例を示す図である。図4は、メガネ型の装着ユニット単体から成る音声処理システム1の外観構成を示している。図5は、ネックバンド型の装着ユニット単体から成る音声処理システム1の外観構成を示している。図4及び図5に示した例においても、音声処理システム1は、図1〜図3に示した例と同様に、複数の音声取得部110(110A、110B、110C及び110D)を有している。
ここで、図6を参照して、比較例について説明する。図6は、比較例に係る音声処理システムの外観構成の一例を示す図である。図6の左図及び右図は、いわゆるBluetooth(登録商標)ヘッドセットの外観構成例を示している。図6の左図に示した例では、比較例に係る音声処理システムは、2つの音声取得部910(910A及び910B)を有し、ユーザの右耳にかけられることでユーザに装着される。図6の右図に示した例では、比較例に係る音声処理システムは、左右のイヤホンに連結されるケーブルに左右対称に設けられる2つの音声取得部910(910C及び910D)を有する。このように、図6の左図及び右図に示した例では、いずれも2つの音声取得部を有している。
ここで、ウェアラブルデバイスでは、使用時にマイクとユーザの口との距離が離れてしまう場合があり、ユーザ音声が雑音に埋もれてしまう場合があった。比較例のような2つの音声取得部により取得された音声データを用いたビームフォーミング処理が行われたとしても、このような問題を解決することは困難である。
そこで、本実施形態では、ビームフォーミング処理により雑音抑圧する場合における、雑音抑圧性能を向上させるような音声取得部110の配置を提案する。
<2.音声取得部の配置>
[2−1.配置方針]
まず、図7〜図10を参照して、音声取得部110の配置方針について説明する。
図7は、本実施形態に係る音声取得部110の配置方針について説明するための図である。図7の左図に示すように、目的音が到来する方向210に対して、直線的に音声取得部110を配置することを第1の配置方針とする。また、図7の左図に示すように、抑圧したい雑音が到来する方向220に対して、直線的に音声取得部110を配置することを第2の配置方針とする。本実施形態では、目的音であるユーザ音声が到来する方向である、ユーザの口の方向210に対して、直線的に音声取得部110A及び110Bが配置され得る。第1及び第2の配置方針によれば、反対方向220から到来する雑音成分を効率的に抑圧することが可能である。なぜならば、ユーザの口の方向210から到来するユーザ音声が音声取得部110A及び110Bに到達するまでの位相差(時間差)が大きい上に、反対方向220から到来する音声が音声取得部110B及び110Aに到達するまでの位相差も大きいためである。図7の右図に示したポーラパターンが示すように、後述する制御部160によるビームフォーミング処理により、ユーザの口の方向210から到来するユーザ音声が強調され、反対方向220A、220B及び220Cから到来する雑音成分が抑圧される。
次いで、図8を参照して、抑圧したい雑音が到来する方向に関する音声取得部110の配置方針について詳しく説明する。
図8は、本実施形態に係る音声取得部110の配置方針について説明するための図である。図8に示すように、本実施形態では、下方向に対して直線的に音声取得部110A及び110Bを配置することを第3の配置方針とする。音声処理システム1が屋外で使用されることを想定すると、屋外で生じる雑音の多くは、図8に示すようにユーザの口を基準として地面の方向(下方向)又は水平方向から到来する。なお、地面の方向から到来する雑音は、ロードノイズとも称される。本配置方針によれば、ロードノイズが到来する下方向に対して直線的に音声取得部110が配置されることになるので、ビームフォーミング処理によりロードノイズが効率的に抑圧されることが可能となる。また、本配置方針によれば、下方向と水平方向との中間の斜め方向から到来する雑音についても、音声取得部110B及び110Aに到達するまでの位相差が存在するため、ビームフォーミング処理により雑音が抑圧され得る。このように、本配置方針によれば、屋外環境における雑音を効率的に抑圧することが可能である。なお、ヘリコプターのプロペラ音や頭上に設置された液晶ディスプレイからの音声等に関しては、抑圧が困難な場合もあり得る。もちろん、装着ユニットの形状に応じて、音声取得部110A及び110Bは、厳密に下方向(鉛直方向)へ直線的に配置されていなくてもよく、傾いて配置されてもよい。
次いで、図9及び図10を参照して、4つ以上の音声取得部110が設けられる場合における配置方針について詳しく説明する。
図9は、本実施形態に係る音声取得部110の配置方針について説明するための図である。図9の左図に示すように、本実施形態では、複数の音声取得部110を立体的に配置することを第4の配置方針とする。詳しくは、4つの音声取得部110が設けられる位置をそれぞれ結んで形成される形状は立体である。なお、立体であるとは、任意の3つの音声取得部110の位置を含む平面上に、残り1つの音声取得部110が存在しないとも捉えることができる。このように立体的に配置される場合には、どの方向から到来する音声であっても、いずれか2以上の音声取得部110により取得された音声データに位相差が生じるので、あらゆる方向から到来する雑音を抑圧することが可能になる。また、図9の左図に示すように、4つの音声取得部110が設けられる位置をそれぞれ結んで形成される形状は正四面体である。複数の音声取得部110が設けられる位置をそれぞれ結んで形成される形状は、各音声取得部110からユーザの口までの距離が等間隔となる、正四面体のような正多面体であることが望ましい。もちろん、図9の右図の示すように、装着ユニットの形状に応じて、4つの音声取得部110が設けられる位置を結んで形成される形状が正四面体ではない四面体であってもよい。
図10は、本実施形態に係る音声取得部110の配置方針について説明するための図である。図10に示すように、本実施形態では、少なくともいずれかのひとつの音声取得部110をユーザの口に近づけることを第5の配置方針とする。本配置方針によれば、少なくともひとつの音声取得部110は、ユーザ音声を他の雑音と比較して大きな音量で取得することが可能となる。これにより、ビームフォーミング処理によるユーザ音声の強調効果がより増大し得る。例えば、図10に示すように、4面体を形成する4つの音声取得部110よりもユーザの口に近い位置に、5つ目の音声取得部110Eが設けられてもよい。他にも、例えば図9の右図に示したように、4面体の頂点に位置する音声取得部110のうちいずれか(図9の右図に示した例では音声取得部110A)が、他と比較して最もユーザの口に近い位置に設けられてもよい。
以上、音声取得部110の配置方針について説明した。
[2−2.実際の配置例]
続いて、再度図1〜図3を参照しながら、上述した配置方針に従った音声取得部110の実際の配置例を説明する。なお、音声取得部110の実際の配置は、装着ユニットの形状や各部品の重量等の制約条件により、上述した配置方針に必ずしも完全に従っていなくてもよい。
まず、第1の配置方針に関して説明する。図2に示すように、装着ユニットがユーザに装着された状態で、音声取得部110A及び音声取得部110Bは、ユーザの口からみて同一方向上に配置されている。また、装着ユニットがユーザに装着された状態で、4つの音声取得部110に含まれる音声取得部110A(第1の音声取得部)とユーザの口との距離と、4つの音声取得部110に含まれる音声取得部110B(第2の音声取得部)とユーザの口との距離と、を異ならせて設けられている。このように、図1〜図3に示した例では、目的音が到来するユーザの口の方向に対して、直線的に音声取得部110A及び110Bが配置されているので、ビームフォーミング処理によりユーザ音声が効率的に強調されることが可能となる。
次いで、第2及び第3の配置方針に関して説明する。図2に示すように、装着ユニットがユーザに装着された状態で、音声取得部110A及び音声取得部110Bは、ユーザの口からみて同一方向上に配置されている。また、装着ユニットがユーザに装着された状態で、音声取得部110A(第1の音声取得部)及び音声取得部110B(第2の音声取得部)は、ユーザの直立姿勢におけるユーザの口より足側に設けられる。このように、図1〜図3に示した例では、抑圧したい雑音が到来する地面の方向に対して、直線的に音声取得部110A及び110Bが配置されているので、ビームフォーミング処理により雑音が効率的に抑圧されることが可能となる。
次に、第4の配置方針に関して説明する。図1〜図3に示すように、音声取得部110A、110B、110C、及び110Dが設けられる位置をそれぞれ結んで形成される形状は立体である。このように、図1〜図3に示した例では、複数の音声取得部110が立体的に配置されているので、ビームフォーミング処理によりあらゆる方向から到来する雑音を抑圧することが可能となる。
次いで、第5の配置方針に関して説明する。図1〜図3に示すように、装着ユニットがユーザに装着された状態で、音声取得部110A(第1の音声取得部)は、他の音声取得部と比較して最もユーザの口に近い位置に設けられている。このように、図1〜図3に示した例では、音声取得部110Aがユーザの口に近い位置に設けられているので、ユーザ音声を他の雑音と比較して大きな音量で取得することが可能となる。また、第2及び第3の配置方針に関して、装着ユニットがユーザに装着された状態で、音声取得部110B(第2の音声取得部)は、ユーザの直立姿勢における、ユーザの口に最も近い位置に設けられる音声取得部110A(第1の音声取得部)よりユーザの足側に設けられる。これにより、図1〜図3に示した例では、ユーザ音声の強調効果と雑音の抑圧効果とを両立させることが可能となっている。なお、図1〜図3に示した例では、音声取得部110Aもユーザの口より下側に設けられているが、音声取得部110Aは口より上側に設けられてもよい。
以上、本実施形態に係る音声処理システム1における音声取得部110の配置について説明した。続いて、図11を参照して、本実施形態に係る音声処理システム1の内部構成について説明する。
<3.内部構成>
図11は、本実施形態に係る音声処理システム1の内部構成の一例を示すブロック図である。図11に示すように、音声処理システム1は、音声取得部110A〜110D、撮像部120、操作部130、センサ部140、通信部150、及び制御部160を有する。
(1)音声取得部110
音声取得部110は、ビームフォーミングのための音声データを取得する機能を有する。例えば、音声取得部110は、音声処理システム1(装着ユニット)を装着したユーザが発するユーザ音声、または周囲の音声を取得する。例えば、音声取得部110は、マイクロホンにより実現される。音声取得部110は、ひとつの装着ユニットに設けられてもよいし、装着ユニットとは別の装置に設けられていてもよいし、複数の装置に分散して設けられていてもよい。例えば、図1〜図3に示した首かけ型の装着ユニットに加え、リストバンド型の装着ユニット、メガネ型の装着ユニット、及びスマートフォンに音声取得部110が設けられてもよい。
音声取得部110は、有指向性のマイクロホンでなくてもよい。例えば、音声取得部110は、全方位に感度を有するマイクロホンであってもよい。全方位に感度を有するとは、ポーラパターンにおいて不感性の領域(方位)がないことを指す。このようなマイクロホンは、半指向性のマイクロホンとも称されてもよい。さらに、音声取得部110は、感度が全方位に一様又は略一様なマイクロホンであってもよい。感度が全方位に一様又は略一様とは、ポーラパターンにおいて感度が円形であるが、必ずしも真円でなくてもよいことを指す。つまり、音声取得部110は、無指向性のマイクロホンであってもよい。
音声取得部110は、マイクロホンで得られた音声信号を増幅処理するマイクアンプ回路やA/D変換器を有していてもよい。音声取得部110は、取得した音声データを制御部160へ出力する。
(2)撮像部120
撮像部120は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。例えば、撮像部120は、音声処理システム1(装着ユニット)がユーザに装着された状態で、ユーザの前方を撮像可能に設けられてもよい。この場合、撮像部120は、例えばユーザの話し相手を撮像することが可能となる。また、撮像部120は、音声処理システム1がユーザに装着された状態で、ユーザの顔を撮像可能に設けられてもよい。この場合、音声処理システム1は、撮像画像からユーザの口の位置を特定することが可能となる。撮像部120は、デジタル信号とされた撮像画像のデータを制御部160へ出力する。
(3)操作部130
操作部130は、ユーザにより操作され、ユーザからの入力を受け付ける機能を有する。例えば、操作部130は、撮像部120による静止画像の撮像を指示する入力、動画像の撮像開始又は停止を指示する入力を受け付けるカメラボタンとして実現されてもよい。また、操作部130は、音声取得部110による音声入力の開始又は停止を指示する入力を受け付ける音声入力ボタンとして実現されてもよい。また、操作部130は、タッチ操作やスライド操作を受け付けるタッチスライダーとして実現されてもよい。また、操作部130は、音声処理システム1の電源ON又はOFFを指示する操作を受け付ける電源ボタンとして実現されてもよい。操作部130は、ユーザ入力を示す情報を制御部160へ出力する。
(4)センサ部140
センサ部140は、音声処理システム1を装着したユーザの状態又は周囲の状態をセンシングする機能を有する。例えば、センサ部140は、加速度センサ、速度センサ、ジャイロセンサ、地磁気センサ、GPS(Global Positioning System)モジュール、又は振動センサの少なくともいずれかを有していてもよい。センサ部140は、装着ユニットとは別の装置に設けられていてもよいし、複数の装置に分散して設けられていてもよい。例えば、リストバンド型の装置に脈拍センサが設けられ、スマートフォンに振動センサが設けられてもよい。センサ部140は、センシング結果を示す情報を制御部160へ出力する。
(5)通信部150
通信部150は、有線/無線により音声処理システム1と他の装置との間でデータの送受信を行うための通信モジュールである。通信部150は、例えば有線LAN(Local Area Network)、無線LAN、Wi−Fi(Wireless Fidelity、登録商標)、赤外線通信、Bluetooth、NFC(Near field communication)等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。
例えば、後述する制御部160としての機能がスマートフォン又はクラウド上のサーバ等の他の装置に含まれる場合、通信部150は、音声取得部110、撮像部120、操作部130、センサ部140により取得されたデータを送信してもよい。この場合、他の装置により、ビームフォーミング処理や音声認識処理等が行われる。他にも、例えば音声取得部110、撮像部120、操作部130、又はセンサ部140が別箇の装置に設けられる場合には、通信部150は、それらにより取得されたデータを受信して制御部160に出力してもよい。また、通信部150は、制御部160によるビームフォーミング処理後の音声データを、当該音声データを記憶するための記憶装置へ送信してもよい。
(6)制御部160
制御部160は、演算処理装置および制御装置として機能し、各種プログラムに従って音声処理システム1内の動作全般を制御する。制御部160は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。なお、制御部160は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
例えば、制御部160は、音声取得部110により取得された複数の音声データを用いて、ユーザの口の方向からの音声を取得するための指向性を形成するビームフォーミング処理を行う。ビームフォーミング処理とは、音の到来する領域ごとに強調の度合を変化させる処理である。具体的には、制御部160が行うビームフォーミング処理は、特定の領域から到来する音を抑圧する処理を含んでもよいし、所望する方位からの音声を強調する処理を含んでもよい。例えば、制御部160は、ユーザの口の方向以外の方向からの音声を雑音として抑圧してもよい。また、制御部160は、ユーザの口の方向からの音声を強調してもよい。上述したように、音声取得部110自体が指向性を有していなくてもよい。制御部160は、各音声取得部110により取得された音声データを対象としたビームフォーミング処理を行うことで、指向性を制御する。制御部160は、各音声取得部110により取得される音声データ間の位相差を用いて、ビームフォーミング処理を行い得る。
制御部160は、多様な観点でビームフォーミング処理を制御することができる。例えば、制御部160は、一例として以下に説明する観点で、指向性を形成する方向及び/又は範囲を制御し得る。
例えば、制御部160は、雑音発生源と音声取得部110との位置関係に基づいてビームフォーミング処理を制御してもよい。例えば上述したようにロードノイズの発生源は地面であるため、制御部160は、地面の方向からの音声を抑圧するようビームフォーミング処理を制御してもよい。また、例えば位置情報から特定の方向に交通量の多い道路や線路等があると判別可能な場合、制御部160は、当該方向からの音声を抑圧するようビームフォーミング処理を制御してもよい。他にも、例えば雑音発生源の位置を指定するユーザ指示がある場合、制御部160は、ユーザ指示が示す位置からの音声を抑圧するようビームフォーミング処理を制御してもよい。
例えば、制御部160は、ユーザ以外の話者の位置に基づいてビームフォーミング処理を制御してもよい。例えば、制御部160は、ユーザ以外の他の話者からの音声を強調するビームフォーミング処理を行ってもよい。また、制御部160は、ユーザ以外の他の話者からの音声を抑圧するビームフォーミング処理を行ってもよい。ユーザ以外の他の話者の存在又は位置(方向)を特定する方法は多様に考えらえる。例えば、制御部160は、ユーザ以外の方向から話し声が取得された場合、他の話者が存在すると判定し、方向を特定してもよい。また、制御部160は、音声認識により他の話者の話し声が取得されたことが認識された場合、他の話者が存在すると判定してもよい。また、制御部160は、撮像部120により撮像された撮像画像の画像認識結果により、他の話者の存在及び位置を特定してもよい。また、制御部160は、センサ部140が有するGPSモジュールにより取得されたユーザの位置情報と、他の話者の位置情報とを比較することで、他の話者の存在及び位置を特定してもよい。また、制御部160は、他の話者が所持する装置から発せられる電波の電波強度(例えば、Wi−Fiの電波強度)を測定することで、他の話者の存在及び位置を特定してもよい。
例えば、制御部160は、ユーザの状態を示す情報に基づいてビームフォーミング処理を制御してもよい。ユーザの状態とは、例えばユーザが走っている、歩いている、又は乗り物に乗っている等の運動状態を指していてもよい。例えば、制御部160は、センサ部140により取得されるセンシング結果に応じて、ユーザの運動状態を推定し得る。制御部160は、複数のセンシング結果を組み合わせることで、詳細な運動状態を推定してもよい。例えば、制御部160は、振動センサ及び速度センサによるセンシング結果を組み合わせることで、振動レベル及び速度が歩行時と比較して大きい場合は自転車に乗っていると推定してもよい。他にも、制御部160は、自転車に乗っている場合と比較して振動レベルが小さく速度が大きい場合は自動車に乗っていると推定してもよい。そして、制御部160は、推定したユーザの運動状態に応じて、形成する指向性の範囲を拡大又は縮小してもよい。例えば、制御部160は、運動状態が示す運動の激しさ(例えば、各センサから出力された数値)が相対的に大きい場合には、小さい場合と比較して指向性の範囲を拡大してもよい。なお、指向性の範囲を拡大又は縮小するとは、到来する音に対して所定の値以上の感度を示す領域の範囲を拡大又は縮小することであると捉えてもよい。他にも、ユーザの状態とは、ユーザの顔の向きや姿勢等のユーザの体勢を指していてもよい。例えば、制御部160は、撮像部120により撮像された撮像画像の画像認識結果等によりユーザの顔の向きを推定し、向きに応じて指向性の向きを制御してもよい。この場合、顔の向きが変わり、ユーザの口と音声取得部110との位置関係が変化した場合にも、制御部160は、ユーザが口から発する音声を鮮明に取得するよう指向性を制御することが可能である。
また、制御部160は、ビームフォーミング処理を行った音声データに基づいて実行された音声認識の結果に応じた処理をしてもよい。音声認識処理は、制御部160により実行されてもよいし、クラウド上のサーバ等の他の装置により実行されてもよい。例えば、制御部160は、音声認識の結果に基づいて音声処理システム1の動作を制御してもよい。具体的には、制御部160は、音声認識の結果に基づいてビームフォーミング処理に係る指向性を制御してもよい。これにより、ユーザは、例えば記録したい音声の方向に指向性を向けるよう、音声で指示することが可能となる。他にも、制御部160は、音声認識の結果に基づいて、カメラでの撮像を開始又は停止させたり、特定のセンシング結果を記録したりしてもよい。これにより、ユーザは、例えば記録したい風景や運動状態を記録するよう、音声で指示することが可能となる。
なお、制御部160は、例えばモバイルプロセッサとして実現され得る。上述したように、制御部160は、装着ユニットが有していてもよく、スマートフォン又はクラウド上のサーバ等の他の任意の装置が有していてもよい。
(7)その他
他にも、音声処理システム1は、多様な構成要素を有し得る。例えば、音声処理システム1は、バッテリーを有していてもよい。図1〜図3に示すように、装着ユニットが湾曲した形状を有し得るため、バッテリーは曲面状の曲面バッテリーであることが望ましい。また、音声処理システム1は、バッテリーに充電するためのケーブルを接続可能な充電コネクタを有していてもよい。充電コネクタは、通信ケーブルを接続可能な通信コネクタとしての機能を兼ね備える、充電通信コネクタであってもよい。また、音声処理システム1は、ユーザへの出力装置として機能するバイブレータを有していてもよい。また、音声処理システム1は、ユーザへの出力装置として機能するスピーカを有していてもよい。また、音声処理システム1は、ユーザへの出力装置として機能するイヤホンを接続可能なイヤホンコネクタを有していてもよい。イヤホンコネクタは、磁力を有していてもよく、磁力によりイヤホンコネクタとイヤホンとが着脱可能であってもよい。また、音声処理システム1は、制御部160によるビームフォーミング処理後の音声データを記憶するための記憶部を有していてもよい。
以上、本実施形態に係る音声処理システム1の内部構成について説明した。続いて、図12を参照して、本実施形態に係る音声処理システム1の動作処理について説明する。
<4.動作処理>
図12は、本実施形態に係る音声処理システム1において実行される音声信号処理の流れの一例を示すフローチャートである。
図12に示すように、まず、ステップS102で、音声処理システム1は、音声データを取得する。例えば、音声取得部110A、110B、110C及び110Dは、それぞれ音声データを取得して制御部160へ出力する。
次いで、ステップS104で、音声処理システム1は、音源と音声取得部110との位置関係を示す情報を取得する。音源とは、雑音発生源であってもよいし、ユーザ音声の発生源であるユーザの口であってもよいし、ユーザ以外の話者であってもよい。制御部160は、これらの音源と音声取得部110との位置関係、詳しくは音声取得部110からみた方向を示す情報を取得する。このような情報としては、例えば、音声取得部110により取得された音声の音声認識結果、撮像部120により撮像された撮像画像の画像認識結果、操作部130により取得されたユーザ入力を示す情報、センサ部140によるセンシング結果、通信部150により他の装置から取得された情報等が挙げられる。
次に、ステップS106で、音声処理システム1は、ユーザの状態を示す情報を取得する。例えば、制御部160は、ユーザの運動状態又はユーザの体勢を示す情報を取得する。このような情報としては、例えば、音声取得部110により取得された音声の音声認識結果、撮像部120により撮像された撮像画像の画像認識結果、操作部130により取得されたユーザ入力を示す情報、センサ部140によるセンシング結果、通信部150により他の装置から取得された情報等が挙げられる。
そして、ステップS108で、音声処理システム1は、ビームフォーミング処理を行う。例えば、制御部160は、上記ステップS102において取得された複数の音声データを用いて、ユーザの口の方向からの音声を取得するための指向性を形成するビームフォーミング処理を行う。このとき、制御部160は、雑音発生源と音声取得部110との位置関係に基づいて、雑音を抑圧するようビームフォーミング処理を制御してもよい。また、制御部160は、ユーザ以外の話者の位置に基づいて、ユーザ以外の他の話者からの音声を強調する又は抑圧するビームフォーミング処理を行ってもよい。また、制御部160は、ユーザの状態に応じて、指向性を形成する方向及び/又は範囲を制御してもよい。
その後、ステップS110で、音声処理システム1は、音声認識処理を行う。例えば、制御部160は、ビームフォーミング処理を行った音声データに基づいて音声認識処理を実行する。そして、制御部160は、音声認識結果に応じて音声処理システム1の動作を制御してもよい。
以上、音声処理システム1において実行される音声信号処理の流れの一例を説明した。
<5.まとめ>
以上、図1〜図12を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る音声処理システム1は、装着ユニットに少なくとも3つの音声取得部を有する。これにより、音声処理システム1は、ユーザ音声をより鮮明にするビームフォーミング処理を行うために適した音声データを取得することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体(非一時的な媒体:non-transitory media)に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にRAMに読み込まれ、CPUなどのプロセッサにより実行される。
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザに装着される装着部を備え、
前記装着部は、ビームフォーミングのための音声データを取得する音声取得部を少なくとも3つ有する、音声処理システム。
(2)
前記装着部は、少なくとも4つの前記音声取得部を有し、
4つの前記音声取得部が設けられる位置をそれぞれ結んで形成される形状は立体である、前記(1)に記載の音声処理システム。
(3)
前記装着部が前記ユーザに装着された状態で、前記4つの音声取得部に含まれる第1の音声取得部と前記ユーザの口との距離と、前記4つの音声取得部に含まれる第2の音声取得部と前記ユーザの口との距離と、を異ならせて設けられる、前記(1)又は(2)に記載の音声処理システム。
(4)
前記装着部が前記ユーザに装着された状態で、
前記第1の音声取得部は、他の前記音声取得部と比較して最も前記ユーザの口に近い位置に設けられ、
前記第2の音声取得部は、前記ユーザの直立姿勢における前記第1の音声取得部より前記ユーザの足側に設けられる、前記(3)に記載の音声処理システム。
(5)
前記第1の音声取得部及び前記第2の音声取得部は、前記ユーザの直立姿勢における前記ユーザの口より足側に設けられる、前記(3)又は(4)に記載の音声処理システム。
(6)
前記音声取得部は、全方位に感度を有するマイクロホンである、前記(2)〜(5)のいずれか一項に記載の音声処理システム。
(7)
前記音声取得部は、感度が全方位に一様又は略一様なマイクロホンである、前記(6)に記載の音声処理システム。
(8)
前記音声処理システムは、前記音声取得部により取得された複数の音声データを用いて、前記ユーザの口の方向からの音声を取得するための指向性を形成するビームフォーミング処理を行う制御部をさらに備える、前記(2)〜(7)のいずれか一項に記載の音声処理システム。
(9)
前記ビームフォーミング処理は、音の到来する領域ごとに強調の度合を変化させる処理である、前記(8)に記載の音声処理システム。
(10)
前記ビームフォーミング処理は、特定の領域から到来する音を抑圧する処理を含む、前記(9)に記載の音声処理システム。
(11)
前記制御部は、雑音発生源と前記音声取得部との位置関係に基づいて前記ビームフォーミング処理を制御する、前記(8)〜(10)のいずれか一項に記載の音声処理システム。
(12)
前記制御部は、前記ユーザ以外の話者の位置に基づいて前記ビームフォーミング処理を制御する、前記(8)〜(11)のいずれか一項に記載の音声処理システム。
(13)
前記制御部は、前記ユーザの状態を示す情報に基づいて前記ビームフォーミング処理を制御する、前記(8)〜(12)のいずれか一項に記載の音声処理システム。
(14)
前記制御部は、前記ビームフォーミング処理を行った音声データに基づいて実行された音声認識の結果に応じた処理をする、前記(8)〜(13)のいずれか一項に記載の音声処理システム。
(15)
前記制御部は、前記音声認識の結果に基づいて前記音声処理システムの動作を制御する、前記(14)に記載の音声処理システム。
(16)
前記制御部は、前記音声認識の結果に基づいて前記指向性を制御する、前記(15)に記載の音声処理システム。
(17)
前記装着部は、前記制御部を有する、前記(8)〜(16)のいずれか一項に記載の音声処理システム。
(18)
前記装着部は、前記ユーザの首回りに装着される、前記(2)〜(17)のいずれか一項に記載の音声処理システム。
1 音声処理システム
110 音声取得部
120 撮像部
130 操作部
140 センサ部
150 通信部
160 制御部

Claims (6)

  1. ユーザに装着されたときに、前記ユーザの首の右側および左側から背中側にかけて半周回する形状を有するネックバンド型装着部と、
    前記ユーザに装着されたときに、前記ネックバンド型装着部の前記ユーザの肩側の面と対向する面に設けられた第1の音声取得部と、
    前記ユーザに装着されたときに、前記ネックバンド型装着部の前記ユーザの首側の面と対向する面に設けられた第2の音声取得部と
    を有し、
    前記第1の音声取得部は、前記ネックバンド型装着部が前記ユーザに装着されたときに、前記第2の音声取得部と比較して前記ユーザの口の近くに設けられ、
    前記第2の音声取得部は、前記ネックバンド型装着部が前記ユーザに装着されたときに、前記第1の音声取得部と比較して前記ユーザの足側に設けられる情報処理装置。
  2. 前記第1の音声取得部及び前記第2の音声取得部によって取得された音声データに基づいて前記ユーザからの音声を取得する制御部を備える、請求項1に記載の情報処理装置。
  3. 無線によって他の装置と通信し、他の装置に音声を送信する通信部を備える、請求項1に記載の情報処理装置。
  4. 前記通信部はBluetooth(登録商標)を用いて前記他の装置と通信する、請求項3に記載の情報処理装置。
  5. イヤホンへの出力音声を出力する出力部を備える、請求項1に記載の情報処理装置。
  6. 音声入力の開始を指示する入力を受け付ける入力部を備える、請求項1に記載の情報処理装置。
JP2019038212A 2014-10-20 2019-03-04 情報処理装置 Active JP6747538B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014213496 2014-10-20
JP2014213496 2014-10-20

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016555104A Division JP6503559B2 (ja) 2014-10-20 2015-07-13 音声処理システム

Publications (2)

Publication Number Publication Date
JP2019134441A JP2019134441A (ja) 2019-08-08
JP6747538B2 true JP6747538B2 (ja) 2020-08-26

Family

ID=55760637

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016555104A Active JP6503559B2 (ja) 2014-10-20 2015-07-13 音声処理システム
JP2019038212A Active JP6747538B2 (ja) 2014-10-20 2019-03-04 情報処理装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016555104A Active JP6503559B2 (ja) 2014-10-20 2015-07-13 音声処理システム

Country Status (5)

Country Link
US (3) US10306359B2 (ja)
EP (2) EP3211918B1 (ja)
JP (2) JP6503559B2 (ja)
CN (3) CN205508399U (ja)
WO (1) WO2016063587A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017027397A2 (en) * 2015-08-07 2017-02-16 Cirrus Logic International Semiconductor, Ltd. Event detection for playback management in an audio device
WO2017060828A1 (en) 2015-10-08 2017-04-13 Cordio Medical Ltd. Assessment of a pulmonary condition by speech analysis
JP2018007256A (ja) * 2016-07-04 2018-01-11 イーエム−テック・カンパニー・リミテッドEM−TECH.Co.,Ltd. オーディオフォーカシング機能を備える音声増幅装置
EP3515088A4 (en) * 2016-09-13 2019-07-31 Sony Corporation SOUND SOUND POSITION ESTIMATING DEVICE AND CLOTHING DEVICE
EP3561642A4 (en) 2016-12-22 2019-12-25 Sony Corporation INFORMATION PROCESSING DEVICE AND METHOD FOR CONTROLLING THEM
JP1589838S (ja) * 2017-01-20 2017-11-06
CN110603587A (zh) 2017-05-08 2019-12-20 索尼公司 信息处理设备
JP7095692B2 (ja) 2017-05-23 2022-07-05 ソニーグループ株式会社 情報処理装置及びその制御方法、並びに記録媒体
JP6766086B2 (ja) 2017-09-28 2020-10-07 キヤノン株式会社 撮像装置およびその制御方法
CN111417919A (zh) 2017-12-08 2020-07-14 索尼公司 信息处理装置及其控制方法和记录介质
CN108235165B (zh) * 2017-12-13 2020-09-15 安克创新科技股份有限公司 一种麦克风颈环耳机
CN108235164B (zh) * 2017-12-13 2020-09-15 安克创新科技股份有限公司 一种麦克风颈环耳机
JP2019186630A (ja) * 2018-04-03 2019-10-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
US11854566B2 (en) 2018-06-21 2023-12-26 Magic Leap, Inc. Wearable system speech processing
US11172293B2 (en) * 2018-07-11 2021-11-09 Ambiq Micro, Inc. Power efficient context-based audio processing
US10847177B2 (en) * 2018-10-11 2020-11-24 Cordio Medical Ltd. Estimating lung volume by speech analysis
WO2020180719A1 (en) 2019-03-01 2020-09-10 Magic Leap, Inc. Determining input for speech processing engine
US11024327B2 (en) 2019-03-12 2021-06-01 Cordio Medical Ltd. Diagnostic techniques based on speech models
US11011188B2 (en) 2019-03-12 2021-05-18 Cordio Medical Ltd. Diagnostic techniques based on speech-sample alignment
WO2021048632A2 (en) * 2019-05-22 2021-03-18 Solos Technology Limited Microphone configurations for eyewear devices, systems, apparatuses, and methods
US11328740B2 (en) 2019-08-07 2022-05-10 Magic Leap, Inc. Voice onset detection
JP6719140B1 (ja) 2019-11-15 2020-07-08 Fairy Devices株式会社 首掛け型装置
WO2021100331A1 (ja) * 2019-11-20 2021-05-27 ダイキン工業株式会社 遠隔作業支援システム
JP7408414B2 (ja) * 2020-01-27 2024-01-05 シャープ株式会社 ウェアラブルマイクスピーカ
US11484211B2 (en) 2020-03-03 2022-11-01 Cordio Medical Ltd. Diagnosis of medical conditions using voice recordings and auscultation
US11917384B2 (en) 2020-03-27 2024-02-27 Magic Leap, Inc. Method of waking a device using spoken voice commands
US11417342B2 (en) 2020-06-29 2022-08-16 Cordio Medical Ltd. Synthesizing patient-specific speech models
JP6786139B1 (ja) 2020-07-06 2020-11-18 Fairy Devices株式会社 音声入力装置
JP2022119582A (ja) * 2021-02-04 2022-08-17 株式会社日立エルジーデータストレージ 音声取得装置および音声取得方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0631835Y2 (ja) 1988-06-27 1994-08-22 株式会社オーディオテクニカ 咽喉マイクロホンの保持装置
US5793875A (en) * 1996-04-22 1998-08-11 Cardinal Sound Labs, Inc. Directional hearing system
US6091832A (en) * 1996-08-12 2000-07-18 Interval Research Corporation Wearable personal audio loop apparatus
JP2001095098A (ja) * 1999-09-27 2001-04-06 Harada Denshi Kogyo Kk 体感補聴器
US7099821B2 (en) * 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
JP2005303574A (ja) 2004-04-09 2005-10-27 Toshiba Corp 音声認識ヘッドセット
EP1946610A2 (en) * 2005-11-01 2008-07-23 Koninklijke Philips Electronics N.V. Sound reproduction system and method
US7522738B2 (en) * 2005-11-30 2009-04-21 Otologics, Llc Dual feedback control system for implantable hearing instrument
CN101390440B (zh) * 2006-02-27 2012-10-10 松下电器产业株式会社 可穿戴终端、控制可穿戴终端的处理器及方法
SE530137C2 (sv) 2006-06-27 2008-03-11 Bo Franzen Headset med strupmikrofon i kombination med en mot hörselgången ljudtätande öronhögtalare
JP5401760B2 (ja) * 2007-02-05 2014-01-29 ソニー株式会社 ヘッドフォン装置、音声再生システム、音声再生方法
JP2009017083A (ja) * 2007-07-03 2009-01-22 Data Bank Commerce:Kk ノイズキャンセル装置
US10226234B2 (en) * 2011-12-01 2019-03-12 Maui Imaging, Inc. Motion detection using ping-based and multiple aperture doppler ultrasound
JP2010187218A (ja) * 2009-02-12 2010-08-26 Sony Corp 制御装置、制御方法及び制御プログラム
US8897455B2 (en) * 2010-02-18 2014-11-25 Qualcomm Incorporated Microphone array subset selection for robust noise reduction
BR112013012539B1 (pt) 2010-11-24 2021-05-18 Koninklijke Philips N.V. método para operar um dispositivo e dispositivo
WO2012083989A1 (en) * 2010-12-22 2012-06-28 Sony Ericsson Mobile Communications Ab Method of controlling audio recording and electronic device
JP2012133250A (ja) * 2010-12-24 2012-07-12 Sony Corp 音情報表示装置、音情報表示方法およびプログラム
US9711127B2 (en) * 2011-09-19 2017-07-18 Bitwave Pte Ltd. Multi-sensor signal optimization for speech communication
CN102393520B (zh) * 2011-09-26 2013-07-31 哈尔滨工程大学 基于目标回波多普勒特性的声纳运动目标成像方法
JP5772448B2 (ja) * 2011-09-27 2015-09-02 富士ゼロックス株式会社 音声解析システムおよび音声解析装置
CN103024629B (zh) * 2011-09-30 2017-04-12 斯凯普公司 处理信号
JP6031761B2 (ja) 2011-12-28 2016-11-24 富士ゼロックス株式会社 音声解析装置および音声解析システム
JP2013191996A (ja) 2012-03-13 2013-09-26 Seiko Epson Corp 音響装置
EP2736272A1 (en) * 2012-11-22 2014-05-28 ETH Zurich Wearable microphone array apparatus
CN202998463U (zh) * 2012-12-11 2013-06-12 启通科技有限公司 一种挂颈式助听器
RU2520184C1 (ru) * 2012-12-28 2014-06-20 Алексей Леонидович УШАКОВ Гарнитура для мобильного электронного устройства
CN103135092A (zh) * 2013-02-05 2013-06-05 中国科学院上海微系统与信息技术研究所 一种微孔径声阵列运动目标定向方法
US9525938B2 (en) * 2013-02-06 2016-12-20 Apple Inc. User voice location estimation for adjusting portable device beamforming settings
US10229697B2 (en) * 2013-03-12 2019-03-12 Google Technology Holdings LLC Apparatus and method for beamforming to obtain voice and noise signals
JP6375362B2 (ja) * 2013-03-13 2018-08-15 コピン コーポレーション 雑音キャンセリングマイクロホン装置
US9343053B2 (en) * 2013-05-13 2016-05-17 Sound In Motion Adding audio sound effects to movies
EP2840807A1 (en) * 2013-08-19 2015-02-25 Oticon A/s External microphone array and hearing aid using it

Also Published As

Publication number Publication date
CN108683972B (zh) 2022-08-09
EP3211918A1 (en) 2017-08-30
US20170280239A1 (en) 2017-09-28
WO2016063587A1 (ja) 2016-04-28
US11172292B2 (en) 2021-11-09
US10306359B2 (en) 2019-05-28
EP3211918A4 (en) 2018-05-09
CN205508399U (zh) 2016-08-24
CN105529033B (zh) 2020-11-10
CN108683972A (zh) 2018-10-19
CN105529033A (zh) 2016-04-27
US20200213730A1 (en) 2020-07-02
JP6503559B2 (ja) 2019-04-24
US10674258B2 (en) 2020-06-02
JP2019134441A (ja) 2019-08-08
JPWO2016063587A1 (ja) 2017-08-03
US20180317005A1 (en) 2018-11-01
EP3413583A1 (en) 2018-12-12
EP3211918B1 (en) 2021-08-25

Similar Documents

Publication Publication Date Title
JP6747538B2 (ja) 情報処理装置
KR102378762B1 (ko) 지향성의 사운드 변형
US10856071B2 (en) System and method for improving hearing
US10257637B2 (en) Shoulder-mounted robotic speakers
CN102640517B (zh) 有向声音系统、传输声音至空间位置方法及有向通信系统
WO2016167007A1 (ja) 頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置
KR20230112688A (ko) 마이크로폰 빔 스티어링이 있는 머리-착용형 컴퓨팅 장치
TW202231077A (zh) 助聽裝置及用於助聽裝置之聲源擬真處理方法
JP7065353B2 (ja) ヘッドマウントディスプレイ及びその制御方法
US20230036986A1 (en) Processing of audio signals from multiple microphones
US20240267663A1 (en) Smart wireless camera earphones
US20230075488A1 (en) Audio adjustment based on user electrical signals
TW202314478A (zh) 音訊事件資料處理
TW202314684A (zh) 對來自多個麥克風的音訊信號的處理
CN117499837A (zh) 音频处理方法、装置以及音频播放设备
CN118020314A (zh) 音频事件数据处理
CN118020313A (zh) 处理来自多个麦克风的音频信号

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190307

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200720

R151 Written notification of patent or utility model registration

Ref document number: 6747538

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151