JP7017873B2 - 音質改善方法、音質改善方法を実行させるためのコンピュータプログラム、および電子機器 - Google Patents

音質改善方法、音質改善方法を実行させるためのコンピュータプログラム、および電子機器 Download PDF

Info

Publication number
JP7017873B2
JP7017873B2 JP2017136325A JP2017136325A JP7017873B2 JP 7017873 B2 JP7017873 B2 JP 7017873B2 JP 2017136325 A JP2017136325 A JP 2017136325A JP 2017136325 A JP2017136325 A JP 2017136325A JP 7017873 B2 JP7017873 B2 JP 7017873B2
Authority
JP
Japan
Prior art keywords
sound quality
software
necessity
module
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017136325A
Other languages
English (en)
Other versions
JP2018019396A (ja
JP2018019396A5 (ja
Inventor
インギュ カン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Line Corp
Original Assignee
Line Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Line Corp filed Critical Line Corp
Publication of JP2018019396A publication Critical patent/JP2018019396A/ja
Publication of JP2018019396A5 publication Critical patent/JP2018019396A5/ja
Application granted granted Critical
Publication of JP7017873B2 publication Critical patent/JP7017873B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/05—Generation or adaptation of centre channel in multi-channel audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/09—Electronic reduction of distortion of stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

以下の説明は、音質改善方法、音質改善方法を実行させるためのコンピュータプログラム、および電子機器に関する。
最近、様々な種類のマルチメディア機器が市販されており、マルチメディア機器をサポートするための様々なアプリケーションも開発されている。このような様々なアプリケーションのうち、マルチメディア機器に備えられているマイクから入ってくるオーディオ信号を利用するアプリケーションでは、音質改善（Ａｕｄｉｏ Ｑｕａｌｉｔｙ Ｅｎｈａｎｃｅｍｅｎｔ）機能が必須的に採用されている。それは、スピーカから出るエコーや周囲の雑音がユーザの音声入力に混ざってマイクに入ってくるからである。そのようなアプリケーションとして、例えば、電話やカラオケ、音声の録音や映像の録画、音声や音楽の認識のためのアプリケーションがある。
一方、最近のマルチメディア機器の中には、ハードウェア自体において音質改善機能を有するものがあり、ハードウェア自体において音質改善機能を有するマルチメディア機器の種類や数はますます増えている傾向にある。また、ソフトウェア的に音質改善機能を提供する必要があるアプリケーションも存在する。
音質改善機能は、マイクから入ってくる入力からエコーや雑音を取り除くため、ユーザの音声入力が損傷を受けるわけであり、音質改善機能が数回に渡って実行されると、損傷がそれだけ大きくなるという問題がある。したがって、ソフトウェアにおける音質改善機能を提供する必要があるアプリケーションの開発者は、ハードウェア自体において音質改善機能を有するマルチメディア機器を一つ一つ確認し、そのリストを生成および管理しなければならないという煩雑さを抱えている。また、ハードウェアの音質改善機能を有するマルチメディア機器にインストールされたアプリケーションにおいて、ソフトウェアの音質改善機能を提供しないために、その機能をオフ（ｏｆｆ）とするように管理しなければならないという煩雑さもある。
或いは、このような煩雑さを避けるために、ハードウェアの音質改善機能とソフトウェアの音質改善機能のいずれも機能することを放置する場合もあるが、上述したように、音質の損傷を受けることが避けられないという問題がある。
国際公開第WO/2015/065001号 米国特許出願公開第2014／0019540A1号明細書 米国特許出願公開第2013／0332543A1号明細書 米国特許出願公開第2013／0260893A1号明細書
マイクの入力信号とスピーカの出力信号を分析してリアルタイムでソフトウェアの音質改善機能の要否を判断し、ソフトウェアの音質改善機能を選択的に活性化または非活性化することができる、音質改善方法およびシステムを提供する。
コンピュータによって実現される電子機器における音質改善方法を実行させるためのコンピュータプログラムであって、前記音質改善方法は、前記電子機器へのマイク入力信号および前記電子機器からのスピーカ出力信号を分析してソフトウェアの音質改善機能の要否を決定する段階、および前記の決定されたソフトウェアの音質改善機能の要否に基づき、ソフトウェアの音質改善機能を活性化または非活性化する段階を含む、コンピュータプログラムを提供する。
電子機器における音質改善方法であって、前記電子機器へのマイク入力信号および前記電子機器からのスピーカ出力信号を分析してソフトウェアの音質改善機能の要否を決定する段階、および前記の決定されたソフトウェアの音質改善機能の要否に基づき、ソフトウェアの音質改善機能を活性化または非活性化する段階を含む、音質改善方法を提供する。
電子機器であって、コンピュータで読取可能な命令（ｉｎｓｔｒｕｃｔｉｏｎｓ）を格納するメモリ、および前記コンピュータで読取可能な命令を実行するための少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、前記電子機器へのマイク入力信号および前記電子機器からのスピーカ出力信号を分析してソフトウェア音の質改善機能の要否を決定し、前記の決定されたソフトウェアの音質改善機能の要否に基づき、ソフトウェアの音質改善機能を活性化または非活性化する、電子機器を提供する。
マイクの入力信号とスピーカの出力信号を分析してリアルタイムでソフトウェアの音質改善機能の要否を判断し、ソフトウェアの音質改善機能を選択的に活性化または非活性化することができる。
本発明の一実施形態における電子機器の内部構成の例を示した図である。 本発明の一実施形態における電子機器のプロセッサが含む構成要素の例を示したブロック図である。 本発明の一実施形態における電子機器が実行する音質改善方法の例を示したフローチャートである。 本発明の一実施形態において、ソフトウェアの音質改善機能の要否を決定するための方法の例を示したフローチャートである。 本発明の一実施形態において、ソフトウェアの音質改善機能を活性化する過程の例を示した図である。
以下、実施形態について、添付の図面を参照しながら詳しく説明する。
本発明の実施形態に係る音質改善システムは、以下で説明される電子機器によって実現されて良く、本発明の実施形態に係る音質改善方法は、電子機器によって実行されて良い。例えば、電子機器には、本発明の一実施形態に係るコンピュータプログラムとして実現されるアプリケーションがインストールされて、駆動されて良く、電子機器は、駆動するアプリケーションの制御にしたがって、本発明の一実施形態に係る音質改善方法を実行して良い。
このような電子機器は、コンピュータ装置によって実現される固定端末や移動端末であって良い。例えば、電子機器は、スマートフォンや、携帯電話、ナビゲーション、コンピュータ、ノートパンコン、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレット等のように、少なくとも１つのプロセッサと少なくとも１つのメモリ、更に、データを格納するための永久格納所を少なくとも含む装置であって良い。
図１は、本発明の一実施形態における電子機器の内部構成の例を示した図である。電子機器１００は、プロセッサ１１０や、バス１２０、メモリ１３０、通信モジュール１４０、入力／出力インタフェース１５０を含んで良い。
プロセッサ１１０は、基本的な算術や、ロジック、入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されて良い。例えば、命令は、メモリ１３０または通信モジュール１４０より、そしてバス１２０を介してプロセッサ１１０に提供されて良い。例えば、プロセッサ１１０は、メモリ１３０のような記録装置に格納されたプログラムコードにしたがって受信される命令を実行するように構成されて良い。
バス１２０は、電子機器１００の構成要素同士の通信やデータ送信を可能にする。例えば、バス１２０は、高速シリアルバス（Ｈｉｇｈ－ｓｐｅｅｄ Ｓｅｒｉａｌ Ｂｕｓ）、パラレルバス（Ｐａｒａｌｅｌｌ Ｂｕｓ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、及び／又は、その他の好適な通信技術から構成されて良い。
メモリ１３０は、コンピュータで読取可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）や、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ディスクドライブのような永久大容量記憶装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含んで良い。ここで、ＲＯＭと永久大容量記憶装置は、メモリ１３０から分離され、別の永久記憶装置として電子機器１００に含まれても良い。また、メモリ１３０には、オペレーティングシステムや、少なくとも１つのプログラムコード（一例として、電気機器１００にインストールされ駆動されるブラウザや、特定のサービスを提供するために電子機器１００にインストールされたアプリケーション等のためのコード）が格納されて良い。このようなソフトウェア構成要素は、メモリ１３０とは別のコンピュータで読取可能な記録媒体からロードされても良い。このように別のコンピュータで読取可能な記録媒体は、フロッピー（登録商標）ドライブや、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカード等のコンピュータで読取可能な記録媒体を含んで良い。他の実施形態において、ソフトウェア構成要素は、コンピュータで読取可能な記録媒体ではなく、通信モジュール１４０を通じてメモリ１３０にロードされても良い。例えば、開発者や、アプリケーションのインストールファイルを配布するファイル配布システムがネットワーク１７０を介して提供するファイルによって電子機器１００にインストールされるコンピュータプログラム（一例として、上述したアプリケーション）がメモリ１３０にロードされて良い。
通信モジュール１４０は、電子機器１００をコンピュータネットワークに接続するためのコンピュータハードウェア構成要素であって良い。例えば、通信モジュール１４０は、電子機器１００がネットワークを介してネットワーク上の他の電子機器と通信するための機能を提供して良い。ここで、コンピュータネットワークを利用した通信方式には、特に限定されることはなく、コンピュータネットワークが含むことができる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を活用する通信方式だけでなく、機器同士の近距離無線通信が含まれても良い。例えば、コンピュータネットワークは、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）や、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）など、インターネット等のネットワークのうち１つ以上の任意のネットワークを含んで良い。また、コンピュータネットワークは、バスネットワークや、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的（ｈｉｅｒａｒｃｈｉｃａｌ）ネットワーク等を含むネットワークトポロジのうち任意の１つ以上を含んで良いが、これらに限定されることはない。
入力／出力インタフェース１５０は、入力／出力装置１６０とのインタフェースのための手段であって良い。例えば、入力装置は、キーボードや、マウス、マイクロフォン（ｍｉｃｒｏｐｈｏｎｅ、以下「マイク」とする）等の装置を、出力装置は、ディスプレイやスピーカのような装置を含んで良い。他の例として、入力／出力インタフェース１５０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であっても良い。実施形態によって、入力／出力装置１６０は、電子機器１００とは別の構成要素として、電子機器１００と通信するように構成されても良く、電子機器１００に含まれる１つの装置として構成されても良い。例えば、パーソナルコンピュータのように、マイクやスピーカが別の装置としてパーソナルコンピュータの本体に接続される実施形態がでも良く、スマートフォンのように、スマートフォン本体にマイクやスピーカが含まれる実施形態でも良い。
電子機器１００のプロセッサ１１０は、メモリ１３０にロードされたコンピュータプログラムの命令を処理するにあたり、キーボードやマウス、マイク、タッチスクリーン等の入力装置より電子機器１００に入力される各種の信号や情報を処理し、サービス画面やコンテンツ、オーディオ信号等の各種の信号や情報については、入力／出力インタフェース１５０を介してディスプレイやスピーカ等の出力装置より出力されるように電子機器１００を制御して良い。
また、他の実施形態において、電子機器１００は、図１の構成要素よりも多くの構成要素を含んでも良い。ところが、殆どの従来技術の構成要素を図に示す必要はない。例えば、電子機器１００は、上述した入力／出力装置１６０のうち少なくとも一部を含むように実現されても良く、トランシーバや、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種のセンサ、データベース等の他の構成要素を更に含んでも良い。より具体的な例として、電子機器１００がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラ、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器等の多様な構成要素が電子機器１００に更に含まれるように実現されても良い。
このような電子機器１００にインストールされたコンピュータプログラムは、電子機器１００においてソフトウェアの音質改善機能の要否を判断し、ソフトウェアの音質改善機能を選択的に活性化することができる。ここで、音質改善機能は、ＡＥＣ（Ａｃｏｕｓｔｉｃ Ｅｃｈｏ Ｃａｎｃｅｌｌａｔｉｏｎ）モジュールや、ＮＳ（Ｎｏｉｓｅ Ｓｕｐｐｒｅｓｓｉｏｎ：ＮＳ）モジュール、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）モジュール等から構成されて良い。このような音質改善機能についての具体的な説明は、以下で更に詳しく説明する。
図２は、本発明の一実施形態における電子機器のプロセッサが含む構成要素の例を示したブロック図であり、図３は、本発明の一実施形態における電子機器が実行する音質改善方法の例を示したフローチャートである。上述したように、電子機器１００には、本実施形態に係る音質改善システムが実現されて良く、このために、電子機器１００のプロセッサ１１０は、図２に示すように、マイク信号処理部２１０、スピーカ信号処理部２２０、決定部２３０、および活性化部２４０を含んで良い。
ここで、プロセッサ１１０の構成要素は、電子機器１００にインストールされて駆動されるコンピュータプログラムのコード（又は、ブラウザやオペレーティングシステム）が提供する命令（ｉｎｓｔｒｕｃｔｉｏｎ）にしたがってプロセッサ１１０によって実行されるプロセッサ１１０の相異する機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であって良い。例えば、プロセッサ１１０がマイク信号を処理するために電子機器１００を制御するプロセッサ１１０の機能を表現したものとして、マイク信号処理部２１０が用いられて良い。
このようなプロセッサ１１０およびプロセッサ１１０の構成要素は、メモリ１３０の含むオペレーティングシステムのコードや少なくとも１つのプログラムのコードによる命令を実行するように実現されて良い。特に、プロセッサ１１０およびプロセッサ１１０の構成要素は、図３の音質改善方法が含む段階３１０～３６０を実行するように電子機器１００を制御することができる。
段階３１０において、マイク信号処理部２１０は、電子機器１００のマイクから入力されるマイク入力信号を処理するように、電子機器１００を制御することができる。ここで、マイクは、電子機器１００に含まれる構成要素であっても良く、電子機器１００とはネットワーク（一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やブルートゥース（登録商標）等）を介して接続される別の装置であっても良い。
段階３２０において、スピーカ信号処理部２２０は、電子機器１００のスピーカから出力されるスピーカ出力信号を処理するように、電子機器１００を制御することができる。スピーカについても、マイクと同様に、電子機器１００に含まれる構成要素であっても良く、電子機器１００とネットワークを介して接続される別の装置であっても良い。
段階３３０において、決定部２３０は、電子機器１００へのマイク入力信号および電子機器１００からのスピーカ出力信号を分析して、ソフトウェアの音質改善機能の要否を決定することができる。ソフトウェアの音質改善機能の要否を決定するためのより具体的な方法については、以下で図４を参照しつつ詳しく説明する。
段階３４０において、決定部２３０は、段階３３０で決定されたソフトウェアの音質改善機能の要否に基づき、段階３５０または段階３６０が選択的に実行されるようにして良い。例えば、決定部２３０は、ソフトウェアの音質改善機能が必要であると決定された場合、活性化部２４０へ、ソフトウェアの音質改善機能を活性化するための命令を伝達することにより、に段階３５０が実行される。一方、決定部２３０は、ソフトウェアの音質改善機能が必要ないと決定された場合には、活性化部２４０へ、ソフトウェアの音質改善機能を非活性化するための命令を伝達することにより、段階３６０が実行される。
段階３５０において、活性化部２４０は、ソフトウェアの音質改善機能を活性化することができる。一例として、ソフトウェアの音質改善機能は、上述したように、ＡＥＣ（Ａｃｏｕｓｔｉｃ Ｅｃｈｏ Ｃａｎｃｅｌｌａｔｉｏｎ）モジュールや、ＮＳ（Ｎｏｉｓｅ Ｓｕｐｐｒｅｓｓｉｏｎ：ＮＳ）モジュール、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）モジュールを含み、それぞれのモジュールはソフトウェア的に実現されて良い。この際、段階３３０では、ＡＥＣモジュールや、ＮＳモジュール、ＡＧＣモジュールそれぞれの要否が決定され、活性化部２４０は、段階３５０において決定された必要性に対応するモジュールを選択的に活性化することができる。
段階３６０において、活性化部２４０は、ソフトウェアの音質改善機能を非活性化することができる。例えば、ソフトウェアの音質改善機能が既に活性化されていて、段階３３０でソフトウェアの音質改善機能が必要ないと決定された場合、活性化部２４０は、段階３６０でソフトウェアの音質改善機能を非活性化することができる。上述したように、ＡＥＣモジュールや、ＮＳモジュール、ＡＧＣモジュールのそれぞれに対する活性化が可能であるのと同様に、ＡＥＣモジュールや、ＮＳモジュール、およびＡＧＣモジュールのそれぞれに対する非活性化も可能である。
このようなソフトウェアの音質改善機能の要否に関する決定と、ソフトウェアの音質改善機能の活性化または非活性化は、電子機器１００にインストールされたアプリケーションの目的に応じて、音質改善が求められる間に繰り返されて良い。例えば、段階３３０～３６０は、終了命令が入力されるまで繰り返して実行されても良い。
図４は、本発明の一実施形態において、ソフトウェアの音質改善機能の要否を決定するための方法の例を示したフローチャートである。本実施形態において、図４の段階４１０～４７０は、図３を参照しつつ説明した段階３３０に含まれて良い。以下では、マイク入力信号を「Ｙ」、スピーカ出力信号を「Ｘ」と称する。
段階４１０において、決定部２３０は、エコー（ｅｃｈｏ）区間を決定することができる。
決定部２３０は、Ｘの活性化区間において、ＹとＸの相互相関度分析によってエコー区間を決定することができる。Ｘの活性化区間を決定（Ｖｏｉｃｅ Ａｃｔｉｖｉｔｙ Ｄｅｔｅｃｔｉｏｎ：ＶＡＤ）するための方法は種々ある。例えば、Ｘの平均エネルギーよりも相対的に高い平均エネルギーをもつ区間を、Ｘの活性化区間として決定して良い。Ｘ、即ち、スピーカ出力信号の活性化区間を決定するために、公知の多様な活性化区間の決定方法のうちの１つが活用されて良い。
決定部２３０は、リアルタイム処理のために、ＸとＹを既定の大きさのフレーム単位であるＴの単位に分割して良い。この際、分割されたＸのエネルギーＥｘは、下記の数式（１）にて計算されて良い。
Figure 0007017873000001
ここで、ｆは、分割されたフレームのインデックスを、Ｔは、既定の大きさのフレーム処理単位を、それぞれ意味して良い。例えば、処理単位Ｔとして１０ｍｓｅｃを設定し、サンプリングレートが１６，０００Ｈｚであると仮定すると、Ｘは１６０サンプルフレームに分割される。
ここで、Ｘの平均エネルギー
Figure 0007017873000002
 は、以下の数式（２）にて計算されて良い。
Figure 0007017873000003
よりも大きければ、Ｘｆは活性化区間であると言える。
Ｘの活性化区間における相関度分析は、下記の数式（３）のように、ＹとＸの相互相関関数にて得られて良い。
Figure 0007017873000004
 ここで、ｄは、遅延を意味して良い。
遅延ｄは、負数または正数であって良く、ｄの範囲は、音響エコー遅延（ａｃｏｕｓｔｉｃ ｅｃｈｏ ｄｅｌａｙ）やシステム遅延（ｓｙｓｔｅｍ ｄｅｌａｙ）を含んで良い。音響エコー遅延は、信号がスピーカ出力からマイクへ流入するまでの音響環境で発生する遅延を含んで良い。また、システム遅延は、装置バッファ遅延（ｄｅｖｉｃｅ ｂｕｆｆｅｒ ｄｅｌａｙ）のように、マイクに流入した信号が相関度分析端に伝達されるまでのハードウェア及びソフトウェアにおける全ての遅延を含んで良い。即ち、決定部２３０で信号を受信するまでの全ての遅延が、システム遅延に含まれて良い。
このような数式（３）を正規化すると、以下の数式（４）のように表現される。
Figure 0007017873000005
 Ｒ（ｄ）は、ＸとＹが類似するほど、大きい値を有する。
ここで、ＸとＹの２つの信号の相互相関度を分析した結果、Ｒ（ｄ）のうち最大値を有するインデックスのｄが、以下の数式（５）のように、ＸとＹ２つの信号の間の遅延（Ｄ）を意味する。
Ｄ＝ａｒｇｍａｘ（Ｒ（ｄ））・・・（５）
信号Ｙでのエコー区間は、Ｒ（Ｄ）によって決定されて良い。ＤがＸの活性化区間の間に同様の値で保たれるのであれば、エコー区間は、ｘ（ｎ）が活性化区間であり、Ｄが同様の値で保たれる場合、以下の数式（６）のように定義されて良い。
ｙ（ｎ＋Ｄ）・・・（６）
ｘ（ｎ）が非活性化区間であるか、または、Ｄが一定の値で保たれない場合には、数式（６）のｙ（ｎ＋Ｄ）は、非エコー区間を示す。
段階４２０において、決定部２３０は、ユーザ入力区間を決定することができる。
先ず、決定部２３０は、マイク入力信号およびスピーカ出力信号の全体区間からエコー区間を除いた、Ｙに対する活性化区間を決定することができる。
例えば、決定部２３０は、Ｙに対するエネルギー
Figure 0007017873000006
 よりも大きい場合、Ｙｆが活性化区間であると判断し、このような活性化区間をユーザ入力区間として決定することができる。ここで、Ｙに対する平均エネルギー
Figure 0007017873000007
 は、Ｙｆがユーザ入力区間である場合には以下の数式（７）のように、その他の場合には以下の数式（８）のように、それぞれ計算されて良い。例えば、αは、第１加重値として２．０のようにその値が予め設定されて良いが、これに限定されるものではない。上述したように、活性化区間の決定方法が本例示に限定されるものではない。
Figure 0007017873000008
段階４３０において、決定部２３０は、雑音区間を決定することができる。
例えば、決定部２３０は、マイク入力信号およびスピーカ出力信号の全体区間からエコー区間とユーザ入力区間を除いた残りの区間のうち、Ｙｆのエネルギー
Figure 0007017873000009
 よりも小さい場合、Ｙｆを雑音区間として決定することができる。例えば、βは、第２加重値として１のようにその値が予め設定されて良い。ただし、雑音区間の決定方法や用いられた係数は、単に例示に過ぎず、これに限定されるものではない。
段階４４０において、決定部２３０は、エコー区間、ユーザ入力区間、及び雑音区間のそれぞれにおける平均エネルギーを測定することができる。
一例として、エコー区間における平均エネルギー
Figure 0007017873000010
 は、Ｙｆがエコー区間である場合は以下の数式（９）のように計算され、その他の場合は以下の数式（１０）のように計算されて良い。
Figure 0007017873000011
また、ユーザ入力区間における平均エネルギー
Figure 0007017873000012
 は、Ｙｆがユーザ入力区間である場合は以下の数式（１１）のように計算され、その他の場合は以下の数式（１２）のように計算されて良い。
Figure 0007017873000013
また、雑音区間における平均エネルギー
Figure 0007017873000014
 は、Ｙｆが雑音区間である場合は以下の数式（１３）のように計算され、その他の場合は以下の数式（１４）のように計算されて良い。
Figure 0007017873000015
数式（９）、数式（１１）、および数式（１３）において平均エネルギーを求めるために用いられた係数０．９９と０．０１は一例に過ぎず、これに限定されるものではない。
ここで、エネルギーは、人間が感じる音の大きさの単位であるデシベル（ｄＢ＝１０ｌｏｇ（Ｅ／Ｔ））で表現されて良い。
段階４５０において、決定部２３０は、遅延Ｄとエコー区間における平均エネルギーのうち少なくとも１つを利用して、ＡＥＣモジュールの要否を決定することができる。例えば、決定部２３０は、段階４１０で決定されたＸとＹ２つの信号の間の遅延Ｄにより、ＡＥＣモジュールの要否を決定することができる。例えば、遅延Ｄがエコー区間の間に、連続するｋ個のフレーム（ｋは２以上の自然数であり、一例として、ｋは２）において同様の値で保たれなければ、２つの信号の相関度が低いと決定することができる。これで、ハードウェアＡＥＣが提供されているか、それとも、エコーが入ってこない環境であると判断することができる。実施形態によっては、ｋは３以上の値を有することもある。この場合、決定部２３０は、ＡＥＣモジュールが必要でないと判断することができる。また、決定部２３０は、段階４４０で決定されたエコー区間における平均エネルギー
Figure 0007017873000016
 が既定の第１デシベル値（一例として、３０ｄＢ、第１閾値）よりも小さい場合、ハードウェアＡＥＣが提供されているか、それとも、エコーが入ってこない環境であると判断することができる。したがって、この場合にも、決定部２３０は、ＡＥＣモジュールが必要でないと判断することができる。このように、ＡＥＣモジュールが必要でないと判断されれば、決定部２３０は、ＡＥＣモジュールの非活性化を行うための信号を生成して、活性化部２４０に送信することができる。この場合、活性化部２４０は、段階３６０において、ＡＥＣモジュールを非活性化（ＡＥＣモジュールが活性化の状態である場合）することができる。
一方、決定部２３０は、遅延Ｄがｋ個の連続するフレームにおいて同様の値を有し、かつ、平均エネルギー
Figure 0007017873000017
 が既定の第１デシベル値以上である場合は、ＡＥＣモジュールが必要な状況であると判断することができる。この場合、決定部２３０は、ＡＥＣモジュールを活性化するための信号を生成し、活性化部２４０は、生成された信号の伝達を受け、段階３５０において、ＡＥＣモジュールの活性化（ＡＥＣモジュールが非活性化の状態である場合）を行うことができる。
即ち、ＡＥＣモジュールの要否を決定する際に、マイク入力信号とスピーカ出力信号の間の遅延の連続性の有無や、エコー区間における平均エネルギーと既定の第１閾値との比較結果が利用される。
段階４６０において、決定部２３０は、雑音区間における平均エネルギーを利用して、ＮＳモジュールの要否を決定することができる。
例えば、決定部２３０は、段階４４０で決定された雑音区間における平均エネルギー
Figure 0007017873000018
 が既定の第２デシベル値（一例として、２０ｄＢ、第２閾値）よりも小さい場合、ハードウェアＮＳが提供されているか、それとも、雑音が入ってこない環境であると判断することができる。この場合、決定部２３０は、ＮＳモジュールが必要でないと判断することができる。このように、ＮＳモジュールが必要でないと判断されれば、決定部２３０は、ＮＳモジュールの非活性化を行うための信号を生成して、活性化部２４０に送信することができる。この場合、活性化部２４０は、段階３６０において、ＮＳモジュールの非活性化（ＮＳモジュールが活性化の状態である場合）を行うことができる。
Figure 0007017873000019
が既定の第２デシベル値以上である場合、決定部２３０は、ＮＳモジュールが必要な状況であると判断することができる。この場合、決定部２３０は、ＮＳモジュールを活性化するための信号を生成し、活性化部２４０は、生成された信号にしたがい、段階３５０において、ＮＳモジュールを活性化（ＮＳモジュールが非活性化の状態である場合）することができる。
段階４７０において、決定部２３０は、ユーザ入力区間における平均エネルギーを利用して、ＡＧＣモジュールの要否を決定することができる。
例えば、決定部２３０は、段階４４０で決定されたユーザ入力区間における平均エネルギー
Figure 0007017873000020
 が既定のデシベル範囲（一例として、５０ｄＢと６０ｄＢ）内の値である場合、ハードウェアＡＧＣが提供されているか、それとも、適切な音量のユーザ入力が入ってくる状況であると判断することができる。この場合、決定部２３０は、ＡＧＣモジュールが必要でないと判断することができる。このように、ＡＧＣモジュールが必要でないと判断されれば、決定部２３０は、ＡＧＣモジュールを非活性化するための信号を生成して、活性化部２４０に送信することができる。この場合、活性化部２４０は、段階３６０において、ＡＧＣモジュールを非活性化（ＡＧＣモジュールが活性化の状態である場合）することができる。
Figure 0007017873000021
 が上述したデシベル範囲の外の値である場合、決定部２３０は、ＡＧＣモジュールが必要な状況であると判断することができる。ここで、決定部２３０は、ＡＧＣモジュールを活性化するための信号を生成し、活性化部２４０は、生成された信号にしたがい、段階３５０において、ＡＧＣモジュールを活性化（ＡＧＣモジュールが非活性化の状態である場合）することができる。
上述したｋ、第１デシベル値、第２デシベル値、およびデシベル範囲は、経験的に決定されても良く、電子機器１００にインストールされたアプリケーションの目的に応じて決定されても良い。ＡＥＣモジュールは、エコーの線形的特性を推定し、推定された線形特性のエコーを取り除くためのモジュールであって良く、ＮＳモジュールは、雑音レベルを推定し、推定された雑音を取り除くためのモジュールであって良い。また、ＡＧＣモジュールは、利得（ｇａｉｎ）を調節するためのモジュールであって良い。このようなＡＥＣモジュール、ＮＳモジュール、およびＡＧＣモジュールは、上述したアプリケーションにおいてソフトウェア的に実現されて含まれて良い。
図５は、本発明の一実施形態において、ソフトウェアの音質改善機能を活性化する過程の例を示した図である。電子機器１００は、上述した入力／出力装置１６０としてスピーカ５１０とマイク５２０を含んでも良く、スピーカ５１０およびマイク５２０と接続しても良い。出力信号にしたがって、スピーカ５１０から音が出力されることができる。この際、マイク５２０には、ユーザの音声のようなニア－エンドスピーチ（ｎｅａｒ－ｅｎｄ ｓｐｅｅｃｈ）だけでなく、スピーカ５１０から出力された音に対するエコー（ｅｃｈｏ）や雑音（ｎｏｉｓｅ）が更に入力されることがある。
電子機器１００にインストールされたコンピュータプログラムは、スピーカ５１０の出力信号Ｘとマイク５２０の入力信号Ｙの入力を受けて分析を行い、分析結果に基づいてソフトウェアの音質改善機能の要否をリアルタイムで決定することができる。
相関度分析モジュール５３０と活性化区間決定モジュール５４０は、決定部２３０が上述した図３の段階３３０と図４の段階４１０～４７０を実行できるようにするための命令を含む、コンピュータプログラムのコードによって実現されて良い。
相関度分析モジュール５３０の制御にしたがい、決定部２３０は、出力信号Ｘと入力信号Ｙの相関度を分析し、エコー区間を決定して良い。また、活性化区間決定モジュール５４０の制御にしたがい、決定部２３０は、入力信号Ｙを利用し、雑音区間とユーザ入力区間を決定して良い。
決定部２３０は、コンピュータプログラムの制御にしたがって生成された区間情報５５０を利用して、区間情報５５０における平均エネルギーを算出し、算出された平均エネルギーに基づいて上述したＡＥＣモジュール、ＮＳモジュール、およびＡＧＣモジュールのうち少なくとも１つに対する活性化の要否を決定することができる。活性化部２４０は、活性化が決定されたモジュールを活性化することにより、ハードウェアの音質改善機能と重複しないように、または、ハードウェアの音質改善機能が実行されている場合でも、より良い音質を得るために、音質改善機能をリアルタイムで活性化または非活性化することができる。
このように、本発明の実施形態によると、マイク入力信号とスピーカ出力信号を分析してリアルタイムでソフトウェアの音質改善機能の要否を判断し、ソフトウェアの音質改善機能を選択的に活性化または非活性化することができる。
上述したシステムまたは装置は、ハードウェア構成要素、ソフトウェア構成要素、又は、ハードウェア構成要素とソフトウェア構成要素の組み合わせにより、実現されて良い。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、又は、命令を実行して応答することができる他の装置のように、１つ以上の汎用コンピュータ又は特殊な目的のコンピュータを利用して実現されて良い。処理装置は、オペレーティングシステム（ＯＳ）や前記ＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行して良い。また、処理装置は、ソフトウェアの実行に応じて、データにアクセスし、データを格納、操作、処理、及び生成しても良い。理解の便宜のために、１つの処理装置が使用されるとして説明された場合もあるが、本発明の属する技術の分野における通常の知識を有する者にとって、処理装置が複数の処理要素（Processing Element）および／または複数の種類の処理要素を含み得ることは理解できるであろう。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサと、１つのコントローラを含んで良い。また、並列プロセッサのように、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうち１つ以上の組み合わせを含んで良く、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ格納媒体または装置、または伝送される信号波に永久的または一時的に具現化されてもよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータで読み取り可能な記録媒体に格納されてもよい。
実施形態に係る音質改善方法は、多様なコンピュータ手段によって実行可能なプログラム命令や、データファイル、データ構造等を単独でまたは組み合わせた形態として実現されて良く、また、該プログラム命令等がコンピュータで読取可能な媒体に記録されても良い。前記プログラム命令等は、実施形態のために特別に設計され構成されたものであっても良く、コンピュータソフトウェアの当業者に公知で使用可能なものであっても良い。コンピュータで読取可能な記録媒体の例には、ハードディスクや、フロッピー（登録商標）ディスク、磁気テープ等の磁気媒体、ＣＤ－ＲＯＭやＤＶＤ等の光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気媒体、ＲＯＭや、ＲＡＭ、フラッシュメモリ等のように、プログラム命令等を格納して実行するように構成されたハードウェア装置が含まれる。プログラム命令等の例には、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタ等を使用してコンピュータによって実行される高級言語コードが含まれる。上述したハードウェア装置は、実施形態での動作を実行するため、１つ以上のソフトウェアモジュールとして動作するように構成されても良く、その逆にて構成されても良い。
以上のように、実施形態を、限定された実施例や図面に基づいて説明したが、本発明の属する技術の分野における通常の知識を有する者であれば、上述した記載内容から多様な修正や変更が可能であろう。例えば、説明された技術が、説明された方法とは異なる手順で実行されたり、及び／又は、説明されたシステムや、構造、装置、回路等の構成要素が、説明された方法とは異なる形態で結合又は組合されたり、他の構成要素や均等物に代替又は置換されたりとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
１００：電子機器
１１０：プロセッサ
１２０：バス
１３０：メモリ
１４０：通信モジュール
１５０：入力／出力インタフェース
１６０：入力／出力装置

Claims (16)

  1. コンピュータによって実現される電子機器における音質改善方法を実行させるためのコンピュータプログラムであって、
    前記音質改善方法は、
    前記電子機器へのマイク入力信号および前記電子機器からのスピーカ出力信号を分析してソフトウェアの音質改善機能の要否を決定する段階、および
    前記の決定されたソフトウェアの音質改善機能の要否に基づき、前記ソフトウェアの音質改善機能を活性化または非活性化する段階
    を含み、
    前記ソフトウェアの音質改善機能の要否を決定する段階は、
    前記マイク入力信号および前記スピーカ出力信号を分析してエコー区間を決定する段階、
    前記マイク入力信号および前記スピーカ出力信号の全体区間から前記の決定されたエコー区間を除いた残りの区間のうち、前記マイク入力信号のエネルギーが前記マイク入力信号の平均エネルギーと既定の第１加重値との積よりも大きい区間を、ユーザ入力区間として決定する段階、
    前記の決定されたユーザ入力区間における平均エネルギーを算出する段階、および
    前記の算出されたユーザ入力区間における平均エネルギーが既定の範囲に属するかどうかを利用して、前記ソフトウェアの音質改善機能としてＡＧＣモジュールの要否を決定する段階
    を含む、コンピュータプログラム。
  2. 前記ソフトウェアの音質改善機能は、ＡＥＣモジュール、ＮＳモジュール、およびＡＧＣモジュールを含み、
    前記ソフトウェアの音質改善機能の要否を決定する段階では、前記ＡＥＣモジュール、前記ＮＳモジュール、および前記ＡＧＣモジュールのうち少なくとも１つのモジュールの要否を決定し、
    前記ソフトウェアの音質改善機能を活性化または非活性化する段階では、前記の決定された少なくとも１つのモジュールの要否に基づき、前記少なくとも１つのモジュールを活性化または非活性化する、請求項１に記載のコンピュータプログラム。
  3. 前記ソフトウェアの音質改善機能の要否を決定する段階は、
    前記の決定されたエコー区間における平均エネルギーを算出する段階、および
    前記の算出されたエコー区間における平均エネルギーと既定の第１閾値とを比較した結果を利用して、前記ソフトウェアの音質改善機能としてＡＥＣモジュールの要否を決定する段階
    を更に含む、請求項１または２に記載のコンピュータプログラム。
  4. 前記エコー区間を決定する段階では、
    前記スピーカ出力信号の活性化区間において、前記マイク入力信号と前記スピーカ出力信号との相関度を分析することにより、前記エコー区間を決定する、請求項１に記載のコンピュータプログラム。
  5. 前記ＡＥＣモジュールの要否を決定する段階では、前記マイク入力信号と前記スピーカ出力信号の間の遅延の連続性の有無を更に利用して、前記ＡＥＣモジュールの要否を決定し、
    前記遅延の連続性は、前記マイク入力信号と前記スピーカ出力信号のそれぞれを既定の大きさのフレーム単位に分割したとき、前記フレーム単位ごとの遅延の値が同様に保たれることを意味する、請求項３に記載のコンピュータプログラム。
  6. 前記ソフトウェアの音質改善機能の要否を決定する段階は、
    前記全体区間から前記の決定されたエコー区間および前記の決定されたユーザ入力区間を除いた残りの区間のうち、前記マイク入力信号のエネルギーが前記マイク入力信号の平均エネルギーと既定の第２加重値との積よりも小さい区間を、雑音区間として決定する段階、
    前記の決定された雑音区間における平均エネルギーを算出する段階、および
    前記の算出された雑音区間における平均エネルギーと既定の第２閾値とを比較した結果を利用して、前記ソフトウェアの音質改善機能としてＮＳモジュールの要否を決定する段階
    を更に含む、請求項１乃至５のうちいずれか１項に記載のコンピュータプログラム。
  7. 電子機器における音質改善方法であって、
    前記電子機器へのマイク入力信号および前記電子機器からのスピーカ出力信号を分析してソフトウェアの音質改善機能の要否を決定する段階、および
    前記の決定されたソフトウェアの音質改善機能の要否に基づき、前記ソフトウェアの音質改善機能を活性化または非活性化する段階
    を含み、
    前記ソフトウェアの音質改善機能の要否を決定する段階は、
    前記マイク入力信号および前記スピーカ出力信号を分析してエコー区間を決定する段階、
    前記マイク入力信号および前記スピーカ出力信号の全体区間から前記の決定されたエコー区間を除いた残りの区間のうち、前記マイク入力信号のエネルギーが前記マイク入力信号の平均エネルギーと既定の第１加重値との積よりも大きい区間を、ユーザ入力区間として決定する段階、
    前記の決定されたユーザ入力区間における平均エネルギーを算出する段階、および
    前記の算出されたユーザ入力区間における平均エネルギーが既定の範囲に属するかどうかを利用して、前記ソフトウェアの音質改善機能としてＡＧＣモジュールの要否を決定する段階
    を含む、音質改善方法。
  8. 前記ソフトウェアの音質改善機能は、ＡＥＣモジュール、ＮＳモジュール、およびＡＧＣモジュールを含み、
    前記ソフトウェアの音質改善機能の要否を決定する段階では、前記ＡＥＣモジュール、前記ＮＳモジュール、および前記ＡＧＣモジュールのうち少なくとも１つのモジュールの要否を決定し、
    前記ソフトウェアの音質改善機能を活性化または非活性化する段階では、前記の決定された少なくとも１つのモジュールの要否に基づき、前記少なくとも１つのモジュールを活性化または非活性化する、請求項７に記載の音質改善方法。
  9. 前記ソフトウェアの音質改善機能の要否を決定する段階は、
    前記の決定されたエコー区間における平均エネルギーを算出する段階、および
    前記の算出されたエコー区間における平均エネルギーと既定の第１閾値とを比較した結果を利用して、前記ソフトウェアの音質改善機能としてＡＥＣモジュールの要否を決定する段階
    を更に含む、請求項７または８に記載の音質改善方法。
  10. 前記ＡＥＣモジュールの要否を決定する段階では、
    前記マイク入力信号と前記スピーカ出力信号の間の遅延の連続性の有無を更に利用して、前記ＡＥＣモジュールの要否を決定し、
    前記遅延の連続性は、前記マイク入力信号と前記スピーカ出力信号のそれぞれを既定の大きさのフレーム単位に分割したとき、前記フレーム単位ごとの遅延の値が同様に保たれることを意味する、請求項９に記載の音質改善方法。
  11. 前記ソフトウェアの音質改善機能の要否を決定する段階は、
    前記全体区間から前記の決定されたエコー区間および前記の決定されたユーザ入力区間を除いた残りの区間のうち、前記マイク入力信号のエネルギーが前記マイク入力信号の平均エネルギーと既定の第２加重値との積よりも小さい区間を、雑音区間として決定する段階、
    前記の決定された雑音区間における平均エネルギーを算出する段階、および
    前記の算出された雑音区間における平均エネルギーと既定の第２閾値とを比較した結果を利用して、前記ソフトウェアの音質改善機能としてＮＳモジュールの要否を決定する段階
    を更に含む、請求項７乃至１０のうちいずれか１項に記載の音質改善方法。
  12. 電子機器であって、
    コンピュータで読取可能な命令を格納するメモリ、および
    前記コンピュータで読取可能な命令を実行するための少なくとも１つのプロセッサ
    を含み、
    前記少なくとも１つのプロセッサは、
    前記電子機器へのマイク入力信号および前記電子機器からのスピーカ出力信号を分析してソフトウェアの音質改善機能の要否を決定し、
    前記の決定されたソフトウェアの音質改善機能の要否に基づき、前記ソフトウェアの音質改善機能を活性化または非活性化するものであり、
    前記少なくとも１つのプロセッサは、前記ソフトウェアの音質改善機能の要否を決定するために、
    前記マイク入力信号および前記スピーカ出力信号を分析してエコー区間を決定し、
    前記マイク入力信号および前記スピーカ出力信号の全体区間から前記の決定されたエコー区間を除いた残りの区間のうち、前記マイク入力信号のエネルギーが前記マイク入力信号の平均エネルギーと既定の第１加重値との積よりも大きい区間を、ユーザ入力区間として決定し、
    前記の決定されたユーザ入力区間における平均エネルギーを算出し、
    前記の算出されたユーザ入力区間における平均エネルギーが既定の範囲に属するかどうかを利用して、前記ソフトウェアの音質改善機能としてＡＧＣモジュールの要否を決定するものである、電子機器。
  13. 前記ソフトウェアの音質改善機能は、ＡＥＣモジュール、ＮＳモジュール、およびＡＧＣモジュールを含み、
    前記少なくとも１つのプロセッサは、
    前記ＡＥＣモジュール、前記ＮＳモジュール、および前記ＡＧＣモジュールのうち少なくとも１つのモジュールの要否を決定することにより、前記ソフトウェアの音質改善機能の要否を決定し、
    前記の決定された少なくとも１つのモジュールの要否に基づき、前記少なくとも１つのモジュールを活性化または非活性化することにより、前記ソフトウェアの音質改善機能を活性化または非活性化するものである、請求項１２に記載の電子機器。
  14. 前記少なくとも１つのプロセッサは、前記ソフトウェアの音質改善機能の要否を決定するために、
    前記の決定されたエコー区間における平均エネルギーを算出し、
    前記の算出されたエコー区間における平均エネルギーと既定の第１閾値とを比較した結果を利用して、前記ソフトウェアの音質改善機能としてＡＥＣモジュールの要否を決定するものである、請求項１２または１３に記載の電子機器。
  15. 前記少なくとも１つのプロセッサは、前記ＡＥＣモジュールの要否を決定する際に、前記マイク入力信号と前記スピーカ出力信号の間の遅延の連続性の有無を更に利用して、前記ＡＥＣモジュールの要否を決定するものであり、
    前記遅延の連続性は、前記マイク入力信号と前記スピーカ出力信号のそれぞれを既定の大きさのフレーム単位に分割したとき、前記フレーム単位ごとの遅延の値が同様に保たれることを意味する、請求項１４に記載の電子機器。
  16. 前記少なくとも１つのプロセッサは、前記ソフトウェアの音質改善機能の要否を決定するために、
    前記全体区間から前記の決定されたエコー区間および前記の決定されたユーザ入力区間を除いた残りの区間のうち、前記マイク入力信号のエネルギーが前記マイク入力信号の平均エネルギーと既定の第２加重値との積よりも小さい区間を、雑音区間として決定し、
    前記の決定された雑音区間における平均エネルギーを算出し、
    前記の算出された雑音区間における平均エネルギーと既定の第２閾値とを比較した結果を利用して、前記ソフトウェアの音質改善機能としてＮＳモジュールの要否を決定するものである、請求項１２乃至１５のうちいずれか１項に記載の電子機器。
JP2017136325A 2016-07-26 2017-07-12 音質改善方法、音質改善方法を実行させるためのコンピュータプログラム、および電子機器 Active JP7017873B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0095045 2016-07-26
KR1020160095045A KR101842777B1 (ko) 2016-07-26 2016-07-26 음질 개선 방법 및 시스템

Publications (3)

Publication Number Publication Date
JP2018019396A JP2018019396A (ja) 2018-02-01
JP2018019396A5 JP2018019396A5 (ja) 2020-08-13
JP7017873B2 true JP7017873B2 (ja) 2022-02-09

Family

ID=61011800

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017136325A Active JP7017873B2 (ja) 2016-07-26 2017-07-12 音質改善方法、音質改善方法を実行させるためのコンピュータプログラム、および電子機器

Country Status (3)

Country Link
US (1) US10136235B2 (ja)
JP (1) JP7017873B2 (ja)
KR (1) KR101842777B1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI802108B (zh) * 2021-05-08 2023-05-11 英屬開曼群島商意騰科技股份有限公司 降低聲學回音之語音處理裝置及其方法
CN115223582B (zh) * 2021-12-16 2024-01-30 广州汽车集团股份有限公司 一种音频的噪声处理方法、系统、电子装置及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051879A (ja) 2001-08-08 2003-02-21 Fujitsu Ltd 通話装置
JP2008211526A (ja) 2007-02-26 2008-09-11 Nec Corp 音声入出力装置及び音声入出力方法
JP2009518663A (ja) 2005-12-05 2009-05-07 テレフオンアクチーボラゲット エル エム エリクソン（パブル） エコー検出
JP2016502779A (ja) 2012-10-23 2016-01-28 インタラクティブ・インテリジェンス・インコーポレイテッド 音響エコー除去のためのシステムおよび方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19714966C2 (de) * 1997-04-10 1999-04-01 Siemens Ag Vorrichtung zur Rückhördämpfung
US6785339B1 (en) * 2000-10-31 2004-08-31 Motorola, Inc. Method and apparatus for providing speech quality based packet enhancement in packet switched networks
GB2457986A (en) * 2008-03-06 2009-09-09 Cambridge Silicon Radio Ltd Acoustic echo cancellation
JP4834046B2 (ja) 2008-08-27 2011-12-07 日本電信電話株式会社 エコー消去装置、エコー消去方法、エコー消去プログラム、記録媒体
JP5452158B2 (ja) 2009-10-07 2014-03-26 株式会社日立製作所 音響監視システム、及び音声集音システム
US8515089B2 (en) 2010-06-04 2013-08-20 Apple Inc. Active noise cancellation decisions in a portable audio device
CN103325379A (zh) * 2012-03-23 2013-09-25 杜比实验室特许公司 用于声学回声控制的方法与装置
JP5706868B2 (ja) 2012-03-30 2015-04-22 Ｌｉｎｅ株式会社 メッセンジャープラットフォームでアバタ／ゲーム／エンターテイメント機能を提供するシステムおよび方法
KR101685226B1 (ko) 2012-06-12 2016-12-20 라인 가부시키가이샤 메신저 플랫폼의 인간 관계를 기반으로 하는 소셜 그래프를 활용한 메신저 연계 서비스 시스템 및 방법
KR20140009778A (ko) 2012-07-13 2014-01-23 라인 가부시키가이샤 메신저 플랫폼의 사용자 관계정보에 기반하여 다양한 서비스를 제공하는 방법 및 시스템
JPWO2014115290A1 (ja) * 2013-01-25 2017-01-26 株式会社日立製作所 信号処理装置・音響処理システム
WO2015065001A1 (ko) 2013-10-31 2015-05-07 라인 가부시키가이샤 다양한 캐릭터를 이용하여 리듬 게임 서비스를 제공하기 위한 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051879A (ja) 2001-08-08 2003-02-21 Fujitsu Ltd 通話装置
JP2009518663A (ja) 2005-12-05 2009-05-07 テレフオンアクチーボラゲット エル エム エリクソン（パブル） エコー検出
JP2008211526A (ja) 2007-02-26 2008-09-11 Nec Corp 音声入出力装置及び音声入出力方法
JP2016502779A (ja) 2012-10-23 2016-01-28 インタラクティブ・インテリジェンス・インコーポレイテッド 音響エコー除去のためのシステムおよび方法

Also Published As

Publication number Publication date
KR101842777B1 (ko) 2018-03-27
JP2018019396A (ja) 2018-02-01
KR20180012144A (ko) 2018-02-05
US20180035231A1 (en) 2018-02-01
US10136235B2 (en) 2018-11-20

Similar Documents

Publication Publication Date Title
TWI730584B (zh) 關鍵詞的檢測方法以及相關裝置
CN108829235B (zh) 语音数据处理方法和支持该方法的电子设备
US10586534B1 (en) Voice-controlled device control using acoustic echo cancellation statistics
US11435980B2 (en) System for processing user utterance and controlling method thereof
US20200227071A1 (en) Analysing speech signals
US11074905B2 (en) System and method for personalization in speech recognition
US9558757B1 (en) Selective de-reverberation using blind estimation of reverberation level
US20150279386A1 (en) Situation dependent transient suppression
US10706842B2 (en) Selective adaptation and utilization of noise reduction technique in invocation phrase detection
US11961504B2 (en) System and method for data augmentation of feature-based voice data
US20210306751A1 (en) Method of waking a device using spoken voice commands
US20140316783A1 (en) Vocal keyword training from text
CN111124108A (zh) 模型训练方法、手势控制方法、装置、介质及电子设备
CN109754821B (zh) 信息处理方法及其系统、计算机系统和计算机可读介质
JP2022185114A (ja) エコー検出
CA3071060A1 (en) Updating a speech generation setting based on user speech
JP7017873B2 (ja) 音質改善方法、音質改善方法を実行させるためのコンピュータプログラム、および電子機器
CN117136407A (zh) 用于音频处理的深度神经网络去噪器掩模生成系统
CN111063356B (zh) 电子设备响应方法及系统、音箱和计算机可读存储介质
JP6891144B2 (ja) 生成装置、生成方法及び生成プログラム
KR102503895B1 (ko) 음향 신호 처리 방법 및 장치
US20240170004A1 (en) Context aware audio processing
US10832040B2 (en) Cognitive rendering of inputs in virtual reality environments
CN117083673A (zh) 情境感知音频处理
JP2015191220A (ja) 音声処理システム、音声処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200702

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200702

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210414

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220128

R150 Certificate of patent or registration of utility model

Ref document number: 7017873

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350