JP6023780B2 - 端末上で音声制御オペレーションを実行するための方法および装置 - Google Patents

端末上で音声制御オペレーションを実行するための方法および装置 Download PDF

Info

Publication number
JP6023780B2
JP6023780B2 JP2014251445A JP2014251445A JP6023780B2 JP 6023780 B2 JP6023780 B2 JP 6023780B2 JP 2014251445 A JP2014251445 A JP 2014251445A JP 2014251445 A JP2014251445 A JP 2014251445A JP 6023780 B2 JP6023780 B2 JP 6023780B2
Authority
JP
Japan
Prior art keywords
microphone
state
signal
terminal
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014251445A
Other languages
English (en)
Other versions
JP2015135667A (ja
Inventor
媛媛 ▲劉▼
媛媛 ▲劉▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2015135667A publication Critical patent/JP2015135667A/ja
Application granted granted Critical
Publication of JP6023780B2 publication Critical patent/JP6023780B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/38—Releasing-devices separate from shutter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明に係る実施例は、音声技術の分野に関する。より特定的には、本発明は、端末上で音声制御オペレーションを実行するための方法、および装置に関する。
大部分の既存の端末装置、例えば、携帯電話またはタブレットコンピュータは、タッチスクリーンを備えている。ほとんどすべてのオペレーション、例えば、写真撮影でのシャッター動作およびビデオキャプチャ中にシューティングキーを押すことは、スクリーン上で完結する。ユーザが端末のアプリケーション機能上でオペレーションを実行する場合、写真撮影又はビデオキャプチャのいずれか、ユーザが素手で携帯電話をしっかり保持した後で、オペレーションキーを押すために少なくとも一つの指が利用可能であることを要する。利用可能な指による動作に対してキーが不便な位置にある場合、オペレーションが難しいという事態が生じ得る。例えば、ユーザが自撮りのために携帯電話の背面対向カメラを使用する場合には、タッチスクリーン上の仮想キーを正確に見つけることが難しい。従来技術においては、キーを押すことが難しいという問題を解決するために音声制御が提供される。しかしながら、ノイズが多い環境においては、比較的に強い妨害が容易に生じて、音声制御における音声認識率を低下させ、それにより、オペレーションに対するコントロールコマンドの失敗をもたらしてしまう。
ノイズが多い環境においては、比較的に強い妨害が容易に生じて、音声制御における音声認識率を低下させ、それにより、オペレーションに対するコントロールコマンドの失敗をもたらしてしまう。
本発明の実施例は、端末上で音声制御オペレーションを実行するための方法および装置を提供する。マイクロフォンによって収集された環境ノイズの状態変化を利用して、端末上でオペレーションを実行するための制御インストラクションを出力するか否かを決定するものである。従って、端末上でのオペレーションは効率的で便利なものである。
本発明の第１の態様に従って、本発明の一つの実施例は、端末上で音声制御オペレーションを実行するための方法を提供する。本方法は：前記端末上でアプリケーションを開始して、前記端末上のマイクロフォンを動作化するステップと；前記動作化されたマイクロフォンの信号状態をモニタするステップと；前記マイクロフォンの前記信号状態が遷移するときに、前記アプリケーションの現在のオペレーション状態を変更するための制御インストラクションを出力するステップと、を含む。
第１の態様に関して、第１の態様に係る第１の可能な実施において、前記動作化されたマイクロフォンの信号状態をモニタするステップは、特定的に：前記動作化されたマイクロフォンを使用してオーディオ信号を収集して、前記オーディオ信号のスケッチ値を計算するステップと；前記オーディオ信号の前記スケッチ値が、事前設定の閾値より大きいか又は等しいか否かを判断するステップであり、前記オーディオ信号の前記スケッチ値が事前設定の閾値より大きいか又は等しいと判断する場合、前記マイクロフォンの前記信号状態は第１の状態であり、前記オーディオ信号の前記スケッチ値が事前設定の閾値より大きいか又は等しいものではないと判断する場合、前記マイクロフォンの前記信号状態は第２の状態である、ステップと；を含み、それに応じて、前記マイクロフォンの前記信号状態が遷移するときに、前記アプリケーションの現在のオペレーション状態を変更するための制御インストラクションを出力する前記ステップは、特定的に：前記マイクロフォンの前記信号状態が前記第１の状態から前記第２の状態へ遷移するとき、または、前記第２の状態から前記第２の状態へ遷移するときに、前記アプリケーションの現在のオペレーション状態を変更するための前記制御インストラクションを出力するステップ、を含む。
第１の態様に係る第１の可能な実施方法に関して、第１の態様に係る第２の可能な実施方法において、前記オーディオ信号のスケッチ値を計算するステップは、前記オーディオ信号の信号エネルギ値を計算すること、または、信号アンプ値を計算すること、または、信号エネルギの変動値を計算すること、または、信号アンプの変動値を計算すること、を含む。
第１の態様、または、第１の態様に係る第１の可能な実施方法、もしくは、第１の態様に係る第２の可能な実施方法に関して、第１の態様に係る第３の可能な実施方法においては、複数のマイクロフォンが存在し、従って、前記端末上でアプリケーションを開始して、前記端末上のマイクロフォンを動作化する前記ステップは、特定的に；前記端末上で前記開始して、前記端末上の前記複数のマイクロフォンのうち少なくとも２つのマイクロフォンを動作化すること、を含む。
第１の態様に係る第３の可能な実施方法に関して、第１の態様に係る第４の可能な実施方法においては、前記動作化されたマイクロフォンの信号状態をモニタする前記ステップは、特定的に：少なくとも２つの前記動作化されたマイクロフォンに係るマイクロフォン信号状態をモニタするステップと；前記マイクロフォンの前記信号状態が遷移するとき、前記アプリケーションの現在のオペレーション状態を変更するための制御インストラクションを出力する前記ステップは、特定的に；前記少なくとも２つの動作化されたマイクロフォンの前記マイクロフォン信号状態において少なくとも２つの信号状態が遷移するときに、前記アプリケーションの前記現在のオペレーション状態を変更するために前記制御インストラクションを出力するステップと、を含む。
第１の態様に係る第４の可能な実施方法に関して、第１の態様に係る第５の可能な実施方法においては、前記少なくとも２つの動作化されたマイクロフォンの前記マイクロフォン信号状態において少なくとも２つの信号状態が遷移するときに、前記アプリケーションの前記現在のオペレーション状態を変更するために前記制御インストラクションを出力する前記ステップは、特定的には：前記少なくとも２つの動作化されたマイクロフォンの前記マイクロフォン信号状態において少なくとも２つの信号状態が事前設定された時間インターバルのうちに遷移するときに、前記アプリケーションの前記現在のオペレーション状態を変更するために制御インストラクションを出力するステップ、を含む。
第１の態様、または、第１の態様に係る第１の可能な実施方法から第１の態様に係る第５の可能な実施方法のいずれかに関して、第１の態様に係る第６の可能な実施方法においては、前記マイクロフォンの前記信号状態が遷移するときに、前記アプリケーションの前記現在のオペレーション状態を変更するために前記制御インストラクションを出力する前記ステップは、特定的には：前記マイクロフォンの前記信号状態が遷移するときにタイミングを実行し、かつ、事前設定された時間期間ｔが終了した場合に、前記アプリケーションの前記現在のオペレーション状態を変更するために前記制御インストラクションを出力するステップ、を含む。
第１の態様、または、第１の態様に係る第１の可能な実施方法から第１の態様に係る第６の可能な実施方法のいずれかに関して、第１の態様に係る第７の可能な実施方法においては、前記方法は、さらに、前記マイクロフォンの前記信号状態が遷移するときに、時間期間ｔの終了後に前記制御インストラクションが出されるようにするためのプロンプト情報を送付するステップであり、前記プロンプト情報は、音声プロンプト、振動プロンプト、テキストプロンプト、または、光プロンプトである、ステップと、を含む。
第１の態様、または、第１の態様に係る第１の可能な実施方法から第１の態様に係る第７の可能な実施方法のいずれかに関して、第１の態様に係る第８の可能な実施方法においては、前記端末上でアプリケーションを開始して、前記端末上のマイクロフォンを動作化する前記ステップは、特定的には：前記端末上で前記アプリケーションを開始し、事前設定の時間期間後に前記端末上の前記マイクロフォンを動作化するステップと、を含む。
第２の態様に従って、本発明の一つの実施例は、端末を提供する。本端末は、マイクロフォンを含み、さらに、前記端末上でアプリケーションを開始し、前記端末上のマイクロフォンを動作化するように構成されている、開始ユニットと；前記動作化された前記マイクロフォンの信号状態をモニタするように構成されている、モニタリングユニットと；前記マイクロフォンの前記信号状態が遷移するときに、前記アプリケーションの現在のオペレーション状態を変更するために制御インストラクションを出力するように構成されている、動作ユニットと、を含む。
第２の態様に関して、第２の態様に係る第１の可能な実施方法において、前記モニタリングユニットは：前記動作化されたマイクロフォンを使用してオーディオ信号を収集するように構成されている、収集サブユニット；前記収集されたオーディオ信号のスケッチ値を計算するように構成されている、計算サブユニットと；前記オーディオ信号の前記スケッチ値が事前設定の閾値より大きいか等しい否かを判断するように構成されている判断サブユニットであり、判断結果が前記オーディオ信号の前記スケッチ値が事前設定の閾値より大きいか等しい場合、前記マイクロフォンの前記信号状態は第１の状態であり、判断結果が前記オーディオ信号の前記スケッチ値が事前設定の閾値未満である場合、前記マイクロフォンの前記信号状態は第２の状態である、判断サブユニットと；それに応じて、制御インストラクションを出力するように構成されている、動作ユニットであり、前記マイクロフォンの前記信号状態が第１の状態情報から第２の状態に遷移するときに、前記アプリケーションの前記現在のオペレーション状態を変更するように制御インストラクションを出力し、または、前記マイクロフォンの前記信号状態が第２の状態から第１の状態に遷移するときに、前記アプリケーションの前記現在のオペレーション状態を変更するように制御インストラクションを出力する、動作ユニットと、を含む。
第２の態様に係る第１の可能な実施方法に関して、第２の態様に係る第２の可能な実施方法において、前記計算サブユニットは：前記オーディオ信号の信号エネルギ値を計算するように構成されている、エネルギ計算サブユニット；または、前記オーディオ信号の信号アンプ値を計算するように構成されている、アンプ計算サブユニット；または、前記オーディオ信号の信号エネルギの変動値を計算するように構成されている、エネルギ変動計算サブユニット；または、オーディオ信号の信号アンプの変動値を計算するように構成されている、アンプ変動計算サブユニット、を含む。
第２の態様、または、第２の態様に係る第１の可能な実施方法、もしくは、第２の態様に係る第２の可能な実施方法に関して、第２の態様に係る第３の可能な実施方法において、複数のマイクロフォンが存在し、前記開始ユニットは、従って、前記端末上の少なくとも２つのマイクロフォンを動作化するように構成されている、動作化サブユニット、を含む。
第２の態様に係る第３の可能な実施方法に関して、第２の態様に係る第４の可能な実施方法において、前記モニタリングユニットは、前記少なくとも２つの動作化されたマイクロフォンの信号状態をモニタするように構成されており、従って、前記動作ユニットは、前記少なくとも２つの動作化されたマイクロフォンの前記マイクロフォン信号状態において少なくとも２つの信号状態が遷移するときに、前記アプリケーションの前記現在のオペレーション状態を変更するために、前記制御インストラクションを出力するように、構成されている。
第２の態様に係る第４の可能な実施方法に関して、第２の態様に係る第５の可能な実施方法において、前記動作ユニットは、さらに、前記少なくとも２つの動作化されたマイクロフォンの前記マイクロフォン信号状態において少なくとも２つの信号状態が事前設定された時間インターバルのうちに遷移するときに、前記アプリケーションの前記現在のオペレーション状態を変更するために、前記制御インストラクションを出力するように、構成されている。
第２の態様、または、第２の態様に係る第１の可能な実施方法から第２の態様に係る第５の可能な実施方法のいずれかに関して、第２の態様に係る第６の可能な実施方法において、前記動作ユニットは、さらに、前記マイクロフォンの前記信号状態が遷移するときにタイミングを実行し、かつ、事前設定された時間期間ｔが終了した場合に、前記アプリケーションの前記現在のオペレーション状態を変更するために、前記制御インストラクションを出力するように、構成されている。
第２の態様、または、第２の態様に係る第１の可能な実施方法から第２の態様に係る第６の可能な実施方法のいずれかに関して、第２の態様に係る第７の可能な実施方法において、前記端末は、さらに、前記マイクロフォンの前記信号状態が遷移した場合に、時間期間ｔの終了後に前記制御インストラクションが出されるようにするためのプロンプト情報を送付するように構成されている、プロンプトユニットを含み、前記プロンプト情報は、音声プロンプト、振動プロンプト、テキストプロンプト、または、光プロンプトである。
第２の態様、または、第２の態様に係る第１の可能な実施方法から第２の態様に係る第７の可能な実施方法のいずれかに関して、第２の態様に係る第８の可能な実施方法において、前記動作化ユニットは、さらに、前記端末上で前記アプリケーションが開始された後で、事前設定の時間期間後に前記端末上の前記マイクロフォンを動作化するように構成されている。
本発明に係る実施例においては、マイクロフォンによってピックアップされた環境ノイズの変化が、端末アプリケーション上でオペレーションを実行するために使用される。それにより、オーディオ信号の取得における環境ノイズの干渉を回避し、ユーザがキーを押すオペレーションによってもたらされる問題を低減している。加えて、端末装置上に複数のマイクロフォンが存在している場合、少なくとも２つのマイクロフォンの信号状態遷移によってインストラクションの出力が判断される。このことは、オペレーションの正確性のために役立ち、ユーザのオペレーションプロセスの最中の片手での誤操作によって生じるトリガーオペレーションを回避する。
本発明の実施例または従来技術における技術的ソリューションをより明確に説明するために、以降に、実施例または従来技術の説明に必要な添付の図面について簡単に紹介する。以降の記述における添付の図面は、本発明のいくつかの実施例を示しているだけであり、当業者であれば、創造的な努力をすることなく、これら添付の図面から他の図面をさらに導き得ることが明らかである。
図１は、本発明が実施される端末装置のブロックダイヤグラムである。 図２は、図１における端末装置１００のシステムアーキテクチャに係るブロックダイヤグラムである。 図３は、本発明の一つの実施例に従って、端末上で音声制御オペレーションを実行するための方法に係るフローチャートである。 図４は、本発明の一つの実施例に従って、端末上で音声制御オペレーションを実行するための装置に係るブロックダイヤグラムである。 図５は、図４における本発明の実施例に従って、端末上で音声制御オペレーションを実行するための装置に係るモニタリングユニットのブロックダイヤグラムである。 図６は、図４における本発明の実施例に従って、端末上で音声制御オペレーションを実行するための装置に係る計算サブユニットのブロックダイヤグラムである。 図７は、本発明の一つの実施例に従って、端末上で音声制御オペレーションを実行するための別の装置に係るブロックダイヤグラムである。
以降は、本発明の実施例における添付の図面に関して、本発明の実施例における技術的なソリューションを明確かつ完全に説明している。説明される実施例は、本発明の全ての実施例というより、むしろ単なる一部分に過ぎないことが明らかである。本発明の実施例に基づいて創造的な努力をすることなく当業者によって獲得された他の全ての実施例は、本発明の保護範囲内にあるべきものである。
図１を参照すると、本発明が実施される端末装置１００のブロックダイヤグラムが示されている。端末装置１００は、以下のような処理装置であってよい。タブレットコンピュータ、パーソナルデジタルアシスタント、携帯電話、ネットワーク装置、カメラ、スマートフォン、エンハンストジェネラルパケットラジオサービス（ＥＧＰＲＳ）携帯電話、ネットワーク基地局、メディアプレーヤ、ナビゲーション装置、ｅメール装置、ゲームコントロールセンタ、電子フォトフレーム、または、データカード、もしくは、これらのデータ処理装置または他のデータ処理装置のうちあらゆる２つ以上の組合せ、といったものである。
端末装置１００は、タッチ感応ディスプレイ１０２を含んでいる。タッチ感応ディスプレイ１０２は、液晶ディスプレイ（ＬＣＤ）技術、発光ダイオード（ＬＣＤ）技術、カーボンナノチューブディスプレイ技術、または、他のいくつかのディスプレイ技術であってよい。タッチ感応ディスプレイ１０２は、タッチ及び/又はユーザの触知性タッチに敏感であり、ディスプレイとタッチ反応を結び付ける。タッチ感応ディスプレイ１０２は、マルチポイントタッチ感応レスポンス機能を含んでよい。ここで、マルチポイントタッチ感応レスポンス機能とは、タッチ感応ディスプレイ１０２が、同時に生じる複数のタッチポイントを処理することができることを意味しており、それぞれのタッチポイントの圧力、領域及び/又は場所に関するデータ処理を含んでいる。そうしたマルチポイントタッチ機能は、端末装置１００とインタラクションするために複数の指のジェスチャ又は動作を使用することを便利にしている。端末装置１００は、タッチ感応ディスプレイ１０２上に一つまたはそれ以上のグラフィカルユーザインターフェイス表示することができる。種々のシステムオブジェクトへのアクセスをユーザに提供し、かつ、情報をユーザに伝達するためである。グラフィカルユーザインターフェイスは、一つまたはそれ以上の任意的なオブジェクト、つまり、ディスプレイオブジェクトを含んでよい。ディスプレイオブジェクトは、グラフィックな方法で、機能を作動させるためのポータルをユーザに提供する。任意的なオブジェクトは、デバイス機能、アプローチ、ウィンドウ、ファイル、アラーム、イベントまたは他の同定可能なシステムオブジェクト、を含んでいる。
端末装置１００は、複数のデバイスに係る機能を実施することができる。電話装置、ｅメール装置、ネットワークデータ通信デバイス、Ｗｉ−Ｆｉ基地局デバイス、および、メディア処理デバイス、といったものである。いくつかの実施方法においては、所定のディスプレイオブジェクトが、ユーザインターフェイスのメニューバー上に表示されてよい。例えば、デバイスに対応する機能が、タッチによって引き起こされる。
いくつかのシナリオにおいては、端末装置１００のデバイス機能が引き出された後で、端末装置１００のグラフィカルユーザインターフェイスは変更され、または、拡大され、もしくは、別のユーザインターフェイス又はユーザインターフェイスエレメントと置き換えられる。ユーザが、対応するデバイス機能に関連する所定の機能にアクセスしてオペレーションするのをアシストするためである。例えば、電話オブジェクトの上におけるユーザタッチに反応して、タッチ感応ディスプレイ１０２のグラフィカルユーザインターフェイスは、種々の電話機能に関するディスプレイオブジェクトを表示する。同様に、ｅメールオブジェクトにタッチすると、グラフィカルユーザインターフェイスに種々のｅメール機能に関するディスプレイオブジェクトを表示させ；ウェブオブジェクトにタッチすると、グラフィカルユーザインターフェイスに種々のウェブページブラウジング機能に関するディスプレイオブジェクトを表示させ；メディアプレーヤオブジェクトにタッチすると、グラフィカルユーザインターフェイスに種々のｅメール機能に関するディスプレイオブジェクトを表示させる。
他のいくつかのシナリオにおいては、端末装置１００の底部近くにあるボタン１２０または仮想ホームキーを押すことによって、図１におけるトップレイヤ（ｔｏｐ−ｌａｙｅｒ）の環境または状態が保管され得る。他のいくつかのシナリオにおいては、対応するデバイス機能それぞれが、タッチ感応ディスプレイ１０２上に表示される対応する「メインインターフェイス」ディスプレイオブジェクトを有してよく、「メインインターフェイス」ディスプレイオブジェクトを押すことによって、図１におけるグラフィカルユーザインターフェイス環境が保管され得る。他のいくつかのシナリオにおいては、端末装置１００のトップレイヤのグラフィカルユーザインターフェイスは、別のディスプレイオブジェクト１０６を含んでよい。ショートメッセージサービス（ＳＭＳ）オブジェクト、カレンダーオブジェクト、写真オブジェクト、カメラオブジェクト、計算機オブジェクト、ストックオブジェクト、天気オブジェクト、地図オブジェクト、ノートパッドオブジェクト、時計オブジェクト、住所録オブジェクト、または、設定オブジェクト、といったものである。地図オブジェクトにタッチすると、例えば、地図描画機能と、ロケーション基盤のサービス環境と、サポート機能を引き起こす。同様に、どのディスプレイオブジェクト１０６を選択しても、対応するオブジェクト環境と機能を引き起こす。図２を参照すると、図１における端末装置１００のシステムアーキテクチャ２００が示されている。端末装置１００のシステムアーキテクチャ２００は、メモリインターフェイス２０２、一つまたはそれ以上のデータプロセッサ、画像プロセッサ、及び/又は、中央処理ユニット２０４、および、ペリフェラルインターフェイス２０６を含んでよい。メモリインターフェイス２０２、一つまたはそれ以上のプロセッサ２０４、及び/又は、ペリフェラルインターフェイス２０６は、スタンドアロンなコンポーネントであってよく、または、一つまたはそれ以上の集積回路に統合されてもよい。システムアーキテクチャ２００におけるコンポーネントは、一つまたはそれ以上の通信バスまたは信号ケーブルを使用して接続されてよい。センサ、デバイス、および、サブシステムがペリフェラルインターフェイス２０６に接続されてよく、端末装置に係る種々の機能の実施をアシストする。例えば、モーションセンサ２１０、光センサ２１２、および、ロケーションセンサ２１４がペリフェラルインターフェイス２０６に接続されてよく、機能の実施をアシストする。端末装置に係るモーション感知機能、環境輝度感知機能、および、ロケーション感知機能といったものである。そして、お互いに調整することによって所定の機能を実施し得る。ポジショニングシステム（例えば、ＧＰＳ受信器）、温度センサ、バイオメトリックセンサ、気圧センサ、および、高度センサ、といった他の予備センサ２１６も、また、ペリフェラルインターフェイス２０６に接続されてよく、端末装置に係る種々の関連する機能の実施をアシストする。端末装置１００のシステムアーキテクチャ２００は、さらに、カメラサブシステム２２０を含んでいる。カメラサブシステム２２０は、電荷結合素子ＣＣＤまたは相補性金属酸化膜半導体ＣＭＯＳ光センサといった、光センサ２１２を使用して、カメラサブシステムの対応する画像取得機能の実施をアシストする。端末装置１００のシステムアーキテクチャ２００は、さらに、ラジオ通信サブシステム２２４を含んでいる。ラジオ通信サブシステム２２４は、端末装置にラジオ通信機能を提供する。ラジオ通信サブシステム２２４は、ラジオ周波数受信器と送信器、及び/又は、光（赤外線といった）受信器と送信器を含んでよい。端末装置１００のシステムアーキテクチャ２００は、さらに、オーディオシステム２２６を含んでいる。オーディオサブシステム２２６は、端末装置の音声ピックアップ機能またはオーディオ信号再生機能を実施するために使用される。オーディオサブシステム２２６は、ラウドスピーカ２２８とマイクロフォン２３０を含んでおり、上記の音声ピックアップ機能およびオーディオ信号再生機能の実施をアシストする。特定的には、マイクロフォン２３０は、エネルギ変換器であり、オーディオ信号を電気信号に変換する。つまり、音声振動がマイクロフォンのダイアフラムに到達すると、マイクロフォンの中に磁界を生じて電流変化を生成され、電流変化は、増幅処理のためにリアの音声処理回路に伝送される。このように、マイクロフォンは空気中の圧力波の変化を電気信号の変化に変換している。端末装置１００のシステムアーキテクチャ２００は、さらに、Ｉ／Ｏサブシステム２４０を含んでいる。Ｉ／Ｏサブシステム２４０により、端末装置１００は、入力／出力コントロールを実施することができる。Ｉ／Ｏサブシステム２４０は、タッチスクリーンコントローラ２４２、及び/又は、他の（一つまたはそれ以上の）入力コントローラ２４４を含んでよい。タッチスクリーンコントローラ２４２は、タッチスクリーン２４６に接続されている。タッチスクリーン２４６とタッチスクリーンコントローラ２４２は、複数のタッチ感応技術のうちあらゆるものを使用して、タッチと移動、または、タッチの中断を検出する。ここで、タッチ技術は、これらに限定されるわけではないが、容量性、抵抗性、赤外線と表面弾性波技術、および、他の近接センサまたは一つまたはそれ以上のタッチポイントの決定を実施するためにタッチスクリーン２４６を使用する他のコンポーネント、を含んでいる。入力コントローラ２４４は、他の入力／コントロールデバイス２４８に接続されてよい。他の入力／コントロールデバイス２４８は、一つまたはそれ以上のボタン、ロッカースイッチ、サムロータリースイッチ、赤外線ポート、ＵＳＢポート、及び/又は、スタイラス（ｓｔｙｌｕｓ）といったタップアンドセレクト（ｔａｐ−ａｎｄ−ｓｅｌｅｃｔ）デバイスであってよい。加えて、タッチスクリーン２４６は、また、仮想ボタン及び/又はキーボードを表示するためにも使用され、端末装置上で入力コントロールを実施する。端末装置１００のシステムアーキテクチャ２００に係るメモリインターフェイス２０２は、メモリ２５０に接続されてよい。メモリ２５０は、高速ランダムアクセスメモリ及び/又は不揮発性メモリであってよい。一つまたはそれ以上のディスクストレージデバイス、一つまたはそれ以上の光ストレージデバイス、及び/又は、フラッシュメモリ、といったものである。メモリは、オペレーティングシステム２５２を含んでよい。ここで、オペレーティングシステム２５２は、ベーシックシステムサービスを処理して、ハードウェア依存のタスクを実行するために使用されるインストラクションを含んでよい。メモリ２５０、さらに、複数の実行可能なプログラムを保管してよい。ここで、実行可能なプログラムは、音楽再生プログラム２５４、ウェブブラウジングプログラム２５６、画像処理プログラム２５８、音声通信プログラム２６０、ＳＭＳ通信プログラム２６２、ファイルインデックス／サーチプログラム２６４、グラフィカルユーザインターフェイス生成プログラム２６６、または、種々の機能を有する他のアプリケーション、であってよい。
上記は、典型的な端末装置１００および端末装置のシステムアーキテクチャ２００を説明している。本発明に従って端末上で音声制御オペレーションを実行するための方法は、端末装置に適用される。以降は、上記の典型的な端末装置１００に基づいて、本発明の所定の実施例を説明するものである。
実施例１：
図３に示すように、本発明の実施例は、端末上で音声制御オペレーションを実行するための方法を提供する。本方法は、以下のステップを含んでいる。
Ｓ３０１．端末装置上でアプリケーションを開始し、端末装置上のマイクロフォンを動作化する。
ユーザは、キーを押す、タッチする、または、他の手段によって、端末装置上でアプリケーションをトリガする。開始されたアプローチは準備フェイズに入る。ここにおいて、アプリケーションは、端末装置上の写真撮影プログラム、記録プログラム、または、カメラプログラムであってよく、かつ、目覚まし時計プログラムであってもよい。さらに、トリガコントロールインストラクションによって動作化される他の全てのプログラムであってよい。つまり、一旦アプリケーションが開始されると、アプリケーションは、準備またはレディモードに入り、アプリケーション上でオペレーションを実行するための後続のトリガ制御インストラクションを待ち、現在のオペレーション状態を変更する。所定のアプリケーションシナリオにおいては、例えば、上記の端末装置１００に対して、端末装置１００のシステムアーキテクチャ２００上のタッチスクリーン２４６または他の入力／コントロールデバイス２４８を使用することによって、ユーザは、端末装置１００上でアプリケーションをトリガする。アプリケーションは、端末装置１００のシステムアーキテクチャ２００上でペリフェラルインターフェイス２０６に接続されたカメラ２２０、オーディオシステム２２６、等であってよい。
ユーザのオペレーションを促進するために、本発明においては、マイクロフォンをモニタリングすることによってピックアップされた信号の大きさ変化、条件変化等は、開始されて準備フェイズに入っているアプリケーションが現在のオペレーション状態を変更するか否かをトリガするための基礎として使用される。特定的には、少なくとも一つのマイクロフォンが端末上で動作化され、マイクロフォンは信号収集モードに入る。つまり、環境におけるオーディオ信号が収集される。ここで、環境におけるオーディオ信号は、環境からのあらゆるオーディオ信号であってよい。
Ｓ３０２．動作化されたマイクロフォンの信号状態をモニタする。
端末装置上で開始されたアプリケーションが音声制御オペレーションモードに入ると、すなわち、端末装置上のマイクロフォンが動作化され、信号収集モードに入る。このモードにおけるマイクロフォンは、環境音をモニタするための、音環境モニタリングデバイスとして使用される。すなわち、環境から音が収集され、端末装置の周辺環境の音状態がピックアップされる。周辺環境が比較的にノイズが多い場合、比較的に高いレベルの環境音モニタリング結果が出力される。例えば、より高い電圧または電流レベルである。もしくは、現在の音環境を表わすデジタル信号が出力される。周辺環境が比較的に静かな場合、比較的に低いレベルの音モニタリング結果が出力される。例えば、より低い電圧または電流レベルである。もしくは、現在の音環境を表わすデジタル信号が出力される。代替的に、完全に静かな環境においては、信号が出力されないか、デジタルノイズ信号だけが出力される。マイクロフォンが存在している環境の現在の音状態を表わすためである。マイクロフォンが信号を出力しているか否か、またはマイクロフォンによる信号出力の大きさは、マイクロフォンの信号状態として参照される。任意的に、マイクロフォンの信号状態は、直接的にレジスタまたはメモリの中に保管されてよく、または、スムージング、ノイズ低減、および、値の平均化といった方法において処理された後で、レジスタまたはメモリの中に保管されてよい。
Ｓ３０３．マイクロフォンの信号状態が遷移した場合に、アプリケーションの現在のオペレーション状態を変更するために制御インストラクションを出力する。
マイクロフォンの信号状態が取得された後で、端末装置は、リアルタイムにマイクロフォンの信号状態をモニタし、モニタリング結果に応じて開始されたアプリケーションの次に実行アクションを動作化する。任意的に、ステップＳ３０２において取得されたマイクロフォンの信号状態はオリジナル状態であり、オリジナル状態はリアルタイムにモニタされる。実際のアプリケーションシナリオにおいて、マイクロフォンの信号は、ユーザオペレーションおよび環境と供に変化する。ここにおいて、Ｓ３０２で保管された信号状態を基準として使用し、マイクロフォンによって収集されたオーディオ信号が基準に対して変化しているか否かをモニタする。変化は、マイクロフォンの新たな状態を取得するために処理される。環境ノイズはコントロールできないので、変化している環境においてマイクロフォンによって収集されたオーディオ信号の量も、また、コントロールできない。従って、オーディオ信号は、リアルタイムにマイクロフォンの信号状態を読み出すために処理される必要がある。ここにおける処理は、多くの方法を使用することによって実施されてよく、処理結果は、込み入った環境ノイズが、システムにとっては特定可能で読取り可能であり得るというものである。例えば、閾値が事前設定され、込み入った環境にオーディオ信号は単純に分類される。分類された後の変化が、システムによって特定可能であり、読み出され得るようにである。任意的な実施方法として、マイクロフォンの信号状態は、オリジナル状態における事前設定された閾値に基づいて分類されてよい。モニタリングによって、マイクロフォンの信号状態が、オリジナル状態に基づいて事前設定された閾値を横切ることがわかった場合は、一つの状態遷移として読み出される。任意的に、ここにおける事前設定の閾値は、環境ノイズに応じて自己調整され得る。環境が比較的に静かな場合、閾値は比較的に小さな値に設定されてよい、環境が比較的にノイズが多い場合、閾値は比較的に大きな値に設定されてよい。このようにして、異なる環境状態において、マイクロフォンのモニタリングに係るより良い読み出し能力が達成される。この読み出し能力によって、端末装置は、マイクロフォンの信号状態の変化を正確に読み出すことができる。端末装置が、マイクロフォンの信号状態の変化を読み出した後で、開始されたアプリケーション上でアプリケーションオペレーションを実行するようにトリガ制御インストラクションが出力され、現在のオペレーション状態を変更する。それにより、端末上のマイクロフォンを使用して、端末装置に係るアプリケーション機能上でオペレーションを実施している。
本発明のこの実施例によって提供される端末上で音声制御オペレーションを実施する方法においては、端末装置上のアプリケーションが開始され、端末装置上のマイクロフォンが動作化される。そして、マイクロフォンによって収集されたオーディオ信号を使用し、かつ、信号状態をモニタリングすることによって、アプリケーション上でオペレーションを実行するように制御インストラクションが出力されるか否かが決定される。本発明のこの実施例において、マイクロフォンによってピックアップされた環境ノイズの変化が端末アプリケーション上でオペレーションを実行するために使用される。それにより、オーディオ信号の取得における環境ノイズの干渉を避け、かつ、ユーザがキーを押すオペレーションによってもたらされる問題を低減している。
特定的には、ステップＳ３０１において説明したように、端末装置上のアプリケーションが開始され、端末装置上のマイクロフォンが動作化される。ここで、マイクロフォンの動作化は、端末装置上のアプリケーションが開始されたとき同時にマイクロフォンの動作化がトリガされることであり得る。端末が、音声制御オペレーションモードに入るようにである。マイクロフォンの動作化は、また、端末装置上のアプリケーションが開始されてしばらくしてから、トリガされてよい。マイクロフォンの動作化は、さらに、ユーザによって手動でトリガされてよい。従って、端末は音声制御オペレーションモードに入る。任意的には、アプリケーションが開始された後、既定の時間期間において、マイクロフォンが音声制御オペレーションモードに入ることができる。このことは、オペレーションの前に準備をするための十分な時間をユーザに与え、ユーザは、便利に、かつ、柔軟に、端末装置をオペレーションすることができる。特定的には、端末上の少なくとも一つのマイクロフォンが動作化される。マイクロフォンが信号収集モードに入るようにであり、つまり、環境におけるオーディオ信号が収集される。ここで、環境におけるオーディオ信号は、環境からのあらゆるオーディオ信号であってよい。
ステップＳ３０２において説明したように、動作化されたマイクロフォンの信号状態のモニタリングは、特定的には、以下のステップを含んでいる。動作化されたマイクロフォンを使用してオーディオ信号を収集して、オーディオ信号のエネルギ値を計算するステップと、エネルギ値が事前設定の閾値より大きいか又は等しいか否かを判断するステップである。ここで、判断結果がはいの場合、マイクロフォンの信号状態は第１の状態であり、判断結果がいいえの場合、マイクロフォンの信号状態は第２の状態である。
ステップＳ３０３において説明したように、マイクロフォンの信号状態が遷移する場合、アプリケーションの現在のオペレーション状態を変更するための制御インストラクションの出力は、特定的には、以下のステップを含んでいる。マイクロフォンの信号状態が第１の状態情報から第２の状態または第２の状態から第１の状態に遷移する場合に、アプリケーションの現在のオペレーション状態を変更するように制御インストラクションを出力するステップである。
端末装置上で開始されたアプリケーションが音声制御オペレーションモードに入った場合、端末装置上のマイクロフォンが動作化され、信号収集モードに入り、そして、端末装置は音声制御オペレーションモードに入る。このモードにおけるマイクロフォンは、環境音をモニタするための音環境モニタリングデバイスとして使用される。つまり、環境から音が収集され、端末装置の周辺環境の音状態がピックアップされる。周辺環境が比較的にノイズが多い場合、比較的に高いレベルの環境音モニタリング結果が出力される。例えば、より高い電圧または電流レベルである。もしくは、現在の音環境を表わすデジタル信号が出力される。周辺環境が比較的に静かな場合、比較的に低いレベルの音モニタリング結果が出力される。例えば、より低い電圧または電流レベルである。もしくは、現在の音環境を表わすデジタル信号が出力される。代替的に、完全に静かな環境においては、信号が出力されないか、デジタルノイズ信号だけが出力される。マイクロフォンが存在している環境の現在の音状態を表わすためである。マイクロフォンが信号を出力しているか否か、またはマイクロフォンによる信号出力の大きさは、マイクロフォンの信号状態として参照される。任意的な実施方法として、本発明のこの実施例において、複雑で可変なマイクロフォンの信号状態は、事前設定の閾値に従って、単純に分類される。分類された信号状態が、システムによって特定可能であり、読み出され得るようにである。任意的に、事前設定の閾値は、環境ノイズの状況に従って調整され得る。端末によってマイクロフォンの信号状態が取得された後で、端末装置は、マイクロフォンの信号状態をリアルタイムでモニタし、モニタリング結果に従って、開始されたアプリケーションに係る次の実行アクションを動作化する。任意的に、マイクロフォンのオリジナル信号状態が例として使用される。エネルギ値が上記の事前設定の閾値より大きいか又は等しい場合、信号状態は第１の状態であり、エネルギ値が上記の事前設定の閾値より小さい場合、信号状態は第２の状態である。特定的には、一方で、そうした状態分類は、込み入った環境ノイズに応じた出力である、マイクロフォンの信号状態がシステムによって特定され、読み出されるようにする。そして、他方では、状態分類は、マイクロフォンが存在している環境のノイズレベルを直接的に表わす。例えば、マイクロフォンの信号状態が第１の状態である場合、現在のノイズレベルが比較的に高いことが推測される。マイクロフォンの信号状態が第２の状態である場合、現在のノイズレベルは比較的に低いことが推測される。任意的に、取得されたマイクロフォンのオリジナル信号状態は、直接的にレジスタまたはメモリの中に保管されてよく、または、スムージング、ノイズ低減、および、値の平均化といった方法において処理された後で、レジスタまたはメモリの中に保管されてよい。マイクロフォンの信号状態が取得された後で、マイクロフォンの信号状態がリアルタイムでモニタされる。マイクロフォンの信号状態の変化が、事前設定の閾値を横切ることがわかると、すなわち、マイクロフォンの信号状態がより高いノイズレベルである第１の状態からより低いノイズレベルである第２の状態に遷移するか、または、より低いノイズレベルである第２の状態からより高いノイズレベルである第１の状態に遷移する場合である。特定的には、遷移の以前にマイクロフォンの信号状態が事前設定の閾値より高く、遷移の後ではマイクロフォンの信号状態が事前設定の閾値より低い場合、または、遷移の以前にマイクロフォンの信号状態が事前設定の閾値より低く、遷移の後ではマイクロフォンの信号状態が事前設定の閾値より高い場合である。そうした場合、端末は、開始されたアプリケーション上でアプリケーションオペレーションを実行するように制御インストラクションを出力し、上記の状態遷移が端末によってモニタされると、現在のオペレーション状態を変更する。それによって、端末上のマイクロフォンを使用して端末装置のアプリケーション機能上でオペレーションを実施している。実際のアプリケーションのシナリオにおいて、状態遷移は、端末装置上のマイクロフォンを通じたユーザのコントロールに従って実施され得る。例えば、端末によって読み出されたマイクロフォンのオリジナル信号状態がより低いノイズレベルである第２の状態である場合は、ユーザが、音声ピックアップチャンネルがクローズ状態にあるように、マイクロフォンをブロックしているためであり得る。または、端末によって読み出されたマイクロフォンのオリジナル信号状態がより高いノイズレベルである第１の状態である場合は、ユーザが、音声ピックアップチャンネルがオープン状態にあるように、マイクロフォンをブロックしていないためであり得る。任意的に、実際のアプリケーションのシナリオにおいて、マイクロフォンの信号状態遷移は、複数の理由によって生じ得る。例えば、マイクロフォンの信号状態が第２の状態から第１の状態に遷移するように、クローズされた音声ピックアップチャンネルが今やオープンされていること、または、マイクロフォンの信号状態が第１の状態から第２の状態に遷移するように、オープンされた音声ピックアップチャンネルが今やクローズされていること、もしくは、マイクロフォンの信号状態が遷移するように、環境ノイズが突然かつ劇的に変化して、その変化が突然の低下または上昇であること、である。
さらに、任意的には、所定の実施プロセスの最中に、マイクロフォンによって収集されたオーディオ信号のスケッチ値を計算することは、特定的には、計算されるものが信号エネルギ値であるか、計算されるものが信号のアンプ値であるか、計算されるものが信号エネルギの変動値であるか、または、計算されるものが信号アンプの変動であるが、計算によって得られたオーディオ信号は、マイクロフォンの信号状態を反映するように使用される。
本発明のこの実施例によって提供される端末上での音声制御オペレーションを実行するための方法においては、マイクロフォンで収集されたオーディオ信号の使用および信号状態のモニタリングによって、アプリケーション上でオペレーションを実行するために制御インストラクションが出力されるか否かが判断される。本発明のこの実施例においては、マイクロフォンによりピックアップされた環境ノイズの変化が、端末アプリケーション上でオペレーションを実行するために使用される。それにより、オーディオ信号の取得における環境ノイズの干渉を回避し、ユーザがキーを押す動作によってもたらされる問題を低減している。
本発明に係る上記の実施例のいずれかに基づいて、本発明のこの実施例は、さらに、端末装置上で音声制御オペレーションを実行するための別の方法を提供する。
本発明に係る上記の実施例のいずれかに基づいて、さらに、本発明のこの実施例においては、複数のマイクロフォンが存在する。
従って、端末装置上でアプリケーションを開始すること、および、端末装置上のマイクロフォンを動作化することは、特定的には、端末装置上でアプリケーションを開始し、かつ、端末装置上の複数のマイクロフォンのうち少なくとも２つを動作化するステップを含んでいる。
この場合、複数のマイクロフォンは、マイクロフォンアレイを形成する。複数のマイクロフォンが動作化される場合、モニタされるものは、複数の動作化されたマイクロフォンから成るマイクロフォンアレイの信号状態である。少なくとも一つのマイクロフォンの信号状態が遷移する場合、アプリケーション上でオペレーションを実行するように制御インストラクションが出力される。任意的には、また、少なくとも２つのマイクロフォンの信号状態が遷移する場合に、アプリケーション上でオペレーションを実行するように制御インストラクションが出力されてもよい。
本発明のこの実施例において、複数のマイクロフォンが端末装置上でマイクロフォンアレイを形成している場合に、マイクロフォンアレイの信号状態がモニタされる。少なくとも２つのマイクロフォンアレイの信号状態が遷移するときに、制御インストラクションが出力される。一つのマイクロフォンだけの信号状態遷移によってインストラクションの出力が判断されるものと比較して、本発明のこの実施例においては、少なくとも２つのマイクロフォンの信号状態遷移によってインストラクションの出力が判断される。このことは、オペレーションの正確性のために役立ち、ユーザのオペレーションプロセスの最中の片手での誤操作によって生じるトリガーオペレーションを回避する。
さらに、任意的には、本発明のこの実施例において、少なくとも２つのマイクロフォンのオリジナル信号状態が遷移する場合、任意的に、少なくとも２つのマイクロフォンは同時に遷移してよく、または、事前設定のインターバルで遷移してもよい。事前設定のインターバルは、実際にやってみた経験値に従って取得される。時間インターバルを設定する目的は、装置にエラー許容機能を提供するためである。端末のマイクロフォンは、一般的に、端末装置の異なる位置に配置されているため、音源の位置が比較的に一つのマイクロフォンに対して近く、かつ、他のマイクロフォンに対して比較的に遠い場合には、マイクロフォンの信号状態に係る遷移時間が異なる。インターバルは短いものである。しかしながら、時間インターバルが設定されていなければ、端末装置が比較的に敏感な場合に、端末が制御インストラクションを正確に実行することができないという事態が生じ得る。従って、時間インターバルが設定され、時間インターバルの中で連続的に生じるマイクロフォンの信号状態遷移は、同時／同一の遷移であるものとしてみなされる。このことは、装置のエラー許容機能を改善し、使用を促進することができる。
上記の実施例によってもたらされる技術的な効果に基づいて、複数のマイクロフォンの信号状態は、同時に遷移し、また、事前設定のインターバルにおいて遷移して、制御インストラクションの出力をトリガする。このことは、オペレーションの最中にユーザに対する利便性と多様性をもたらすのを手助けし、さらに、ユーザ経験を拡張する。
さらに、任意的に、本発明のこの実施例においては、マイクロフォンの信号状態が遷移することがモニタされたとき、プロンプト情報が送付され、制御インストラクションがｔ秒後に出力されるようにする。プロンプト情報は、音声プロンプト、振動プロンプト、テキストプロンプト、または、光プロンプトであってよく、もしくは、ユーザを駆り立てるために使用され得るあらゆる他の方法であってよい。ここで、ｔは経験値である。
上記の実施例によってもたらされる技術的な効果に基づいて、プロンプト情報の追加によって、ユーザは、端末のオペレーションに係る時間を送付することを明確に知ることができる。それにより、ユーザの誤操作により生じた制御インストラクションのトリガを回避している。従って、ユーザは、端末装置上でより便利で多様性のあるオペレーションを実行し、ユーザ経験が拡張される。
上記の実施例のいずれかに基づいて、任意的な実施方法として、技術的ソリューションは、さらに、以下の方法を含んでいる。
ステップＳ３０２において説明したように、動作化されたマイクロフォンの信号状態をモニタする方法において、本方法は、動作化されたマイクロフォンを使用してオーディオ信号を収集するステップと、オーディオ信号のスケッチ値を計算するステップと、を含んでいる。オーディオ信号のスケッチ値は、特定的には、計算されるものが信号エネルギ値であるか、計算されるものが信号のアンプ値であるか、計算されるものが信号エネルギの変動値であるか、または、計算されるものが信号アンプの変動である。任意的に、本発明のこの実施例においては、計算されたオーディオ信号のスケッチ値は、信号エネルギ値である。
本発明のこの実施例において、端末装置上の写真撮影アプリケーションが、さらに、所定の説明のための例示として選択される。別の言葉で言えば、ユーザは端末装置の写真撮影機能を開始し、開始アクションは、端末装置のマイクロフォンをトリガして信号収集モードに入る。端末装置がオーディオ信号を収集して、オーディオ信号の信号エネルギ値を計算するようにであり、これにより、マイクロフォンの信号状態を判断し、マイクロフォンの信号状態を記録している。この場合において、端末装置のカメラは、写真撮影準備状態にあり、システムが、写真撮影を実行するようにシャッターを押す制御インストラクションを送付するのを待つ。
オーディオ信号が、動作化されたマイクロフォンによって収集された後で、本発明のこの実施例においては、オーディオ信号の信号エネルギ値Ｅｉ（ｎ）が計算される。このことは、以下の数式を使用して、特定的に実行される。
Figure 0006023780
ここで、ｎは、マイクロフォンのシリアル番号を表しており、ｉは、信号解析のためにシステムによって使用される解析フレーム番号を表している。解析フレームの長さは、経験に従って設定されてよい。つまり、信号エネルギ値Ｅｉ（ｎ）は、経験に従って、一つのインターバルで一回の計算を実行することによって得られる。ここで、ｋは、解析フレームにおいて収集された信号サンプリングポイントのシリアル番号を表している（１≦ｋ≦Ｋ）。ここにおいて、Ｋの値は３２０であってよく、ｘｋは、ｋ番目のサンプリングポイントのアンプ値を表している。
計算された信号エネルギ値Ｅｉ（ｎ）は、事前設定の閾値Ｔ１と比較される。Ｅｉ（ｎ）≧Ｔ１の場合、マイクロフォンは第１の状態であると判断され、Ｅｉ（ｎ）＜Ｔ１の場合、マイクロフォンは第２の状態であると判断される。判断によって取得されたマイクロフォンのオリジナル信号状態は、記録され、保管される。
従って、ステップＳ３０３において説明したように、マイクロフォンの信号状態が遷移する場合、アプリケーションの現在のオペレーション状態を変更するための制御インストラクションは、特定的には、以下のとおりである。
マイクロフォンの記録された信号状態がモニタされる。任意的には、１つのマイクロフォンが存在しても、複数のマイクロフォンが存在してもよい。複数のマイクロフォンが存在する場合、複数のマイクロフォンのうち少なくとも２つのマイクロフォンが動作化される。少なくとも２つのマイクロフォンは、マイクロフォンアレイを形成し、少なくとも２つのマイクロフォンの信号状態がモニタされる。少なくとも１つ又は２つのマイクロフォンの信号状態が遷移する場合、写真撮影アプリケーション上でシャッターオペレーションを実行するように、制御インストラクションが出力される。所定の実施プロセスの最中に、事前設定の閾値Ｔ１が、遷移が生じたか否かを判断するための閾値として使用される。信号エネルギ値が、一旦、事前設定の閾値Ｔ１を横切ると、遷移が生じたものとみなされる。特定的には、マイクロフォンの信号状態をモニタするプロセスの最中に、マイクロフォンによって収集された信号エネルギ値が変化してよい。変化が事前設定の閾値の中に在る場合、つまり、事前設定の閾値より大きいか等しい信号エネルギ値は、変化の後でも、なお、事前設定の閾値より大きいか等しい場合、または、事前設定の閾値よりも小さい信号エネルギ値は、変化の後でも、なお、事前設定の閾値より小さい場合には、状態は遷移しない。しかしながら、オリジナルでは事前設定の閾値より高い信号エネルギ値が、遷移後には事前設定の閾値より低い場合、または、オリジナルでは事前設定の閾値より低い信号エネルギ値が、遷移後には事前設定の閾値より高い場合には、状態遷移が生じたものとみなされる。システムが、モニタリングによって、状態が遷移すること検出した場合、シャッターをトリガする制御インストラクションが出力され、写真撮影アプリケーション上で写真撮影オペレーションを実行する。それによって、マイクロフォンを使用して、端末装置上で写真撮影機能上のオペレーションを実施している。
本発明のこの実施例においては、マイクロフォンによってピックアップされた環境ノイズに係るオーディオ信号の信号エネルギ値の変化が、アプリケーション上のオペレーションをトリガするために使用され、環境ノイズの干渉を回避している。その一方で、端末アプリケーション上でオペレーションを実行するために、環境ノイズをフルに活用してもいる。これにより、ユーザのキー押しオペレーションによってもたらされる問題を低減して、端末装置上でのより便利で柔軟性のあるオペレーションを可能にしている。
上記の実施例のいずれかに基づいて、別の任意的な実施方法として、技術的ソリューションは、さらに、以下の方法を含んでいる。
ステップＳ３０２において説明したように、動作化されたマイクロフォンの信号状態をモニタする方法において、本方法は、動作化されたマイクロフォンを使用してオーディオ信号を収集するステップと、オーディオ信号のスケッチ値を計算するステップと、を含んでいる。オーディオ信号のスケッチ値は、特定的には、計算されるものが信号エネルギ値であるか、計算されるものが信号のアンプ値であるか、計算されるものが信号エネルギの変動値であるか、または、計算されるものが信号アンプの変動である。任意的に、本発明のこの実施例においては、オーディオ信号の計算されたスケッチ値は、信号エネルギの変動値である。
上記の実施方法と同様に、この実施方法において、端末装置上の写真撮影アプリケーションが、さらに、所定の説明のための例示として選択される。別の言葉で言えば、ユーザは端末装置の写真撮影機能を開始し、開始アクションは、端末装置のマイクロフォンをトリガして信号収集モードに入る。端末装置がオーディオ信号を収集して、オーディオ信号の信号エネルギ値を計算するようにであり、これにより、マイクロフォンの信号状態を判断し、マイクロフォンの信号状態を記録している。この場合において、端末装置のカメラは、写真撮影準備状態にあり、システムが、写真撮影を実行するようにシャッターを押す制御インストラクションを送付するのを待つ。
オーディオ信号が、動作化されたマイクロフォンによって収集された後で、本発明のこの実施例においては、マイクロフォンによって収集されたオーディオ信号の信号エネルギに係る変動値ｆｌｕｘ＿Ｅｉ（ｎ）が計算される。このことは、以降のステップを実行することによて、特定的に実行される。
第１のステップにおいて、マイクロフォンによって収集されたオーディオ信号の信号エネルギ値Ｅｉ（ｎ）が計算される。このことは、以下の数式を使用して、特定的に実行される。
Figure 0006023780
ここで、ｎは、マイクロフォンのシリアル番号を表しており、ｉは、信号解析のためにシステムによって使用される解析フレーム番号を表している。解析フレームの長さは、経験に従って設定されてよい。つまり、信号エネルギ値Ｅｉ（ｎ）は、経験に従って、一つのインターバルで一回の計算を実行することによって得られる。ここで、ｋは、解析フレームにおいて収集された信号サンプリングポイントのシリアル番号を表している（１≦ｋ≦Ｋ）。ここにおいて、Ｋの値は３２０であってよく、ｘｋは、ｋ番目のサンプリングポイントのアンプ値を表している。
第２のステップにおいて、信号エネルギの移動平均値ｍｏｖ＿Ｅｉ（ｎ）が計算される。ここで、αは、アップデート係数であって０＜α＜１である。任意的に、本発明のこの実施例においては、α＝０．９７である。
ｍｏｖ＿Ｅｉ（ｎ）＝α＊ｍｏｖ＿Ｅｉ−１（ｎ）＋（１−α）＊Ｅｉ（ｎ）
最初にｍｏｖ＿Ｅｉ（ｎ）が計算されるときに、Ｅｉ（ｎ）は初期化されてよい。ここで、ｉ＝１である。
第３のステップにおいて、信号エネルギの変動値ｆｌｕｘ＿Ｅｉ（ｎ）が計算される。
ｆｌｕｘ＿Ｅｉ（ｎ）＝Ｅｉ（ｎ）−ｍｏｖ＿Ｅｉ（ｎ）
計算された信号エネルギ値ｆｌｕｘ＿Ｅｉ（ｎ）は、事前設定の閾値Ｔ２と比較される。ｆｌｕｘ＿Ｅｉ（ｎ）≧Ｔ２の場合、マイクロフォンは第１の状態であると判断され、ｆｌｕｘ＿Ｅｉ（ｎ）＜Ｔ２の場合、マイクロフォンは第２の状態であると判断される。判断によって取得されたマイクロフォンのオリジナル信号状態は、記録され、保管される。後続のステップは、上記の実施方法での対応するステップ１０３と同様であり、詳細は再度説明されない。
本発明のこの実施例においては、マイクロフォンによってピックアップされた環境ノイズに係るオーディオ信号の信号エネルギ値の変動が、アプリケーション上のオペレーションをトリガするために使用され、環境ノイズの干渉を回避している。その一方で、端末アプリケーション上でオペレーションを実行するために、環境ノイズをフルに活用してもいる。これにより、ユーザのキー押しオペレーションによってもたらされる問題を低減して、端末装置上でのより便利で柔軟性のあるオペレーションを可能にしている。
実施例２：
図４に示されるように、本発明の一つの実施例は、端末上で音声制御オペレーションを実行するための装置を提供する。装置は、マイクロフォンを含み、かつ、端末装置上でアプリケーションを開始し、端末装置上のマイクロフォンを動作化するように構成されている、開始ユニット４０１と；動作化されたマイクロフォンの信号状態をモニタするように構成されている、モニタリングユニット４０３；マイクロフォンの信号状態が遷移するときに、アプリケーションの現在のオペレーション状態を変更するための制御インストラクションを出力するように構成されている、動作ユニット４０５と、を含んでいる。
特定的には、本発明のこの実施例において、ユーザは、キーを押す、タッチする、または、他の手段によって端末装置上のアプリケーションをトリガする。開始されたアプリケーションは準備フェイズに入る。ここにおいて、アプリケーションは、端末装置上の写真撮影プログラム、記録プログラム、または、カメラプログラムであってよく、かつ、目覚まし時計プログラムであってもよい。さらに、トリガコントロールインストラクションによって動作化される他の全てのプログラムであってよい。つまり、一旦アプリケーションが開始されると、アプリケーションは、準備またはレディモードに入り、アプリケーション上でオペレーションを実行するための後続のトリガ制御インストラクションを待ち、現在のオペレーション状態を変更する。所定のアプリケーションシナリオにおいては、例えば、上記の端末装置１００に対して、端末装置１００のシステムアーキテクチャ２００上のタッチスクリーン２４６または他の入力／コントロールデバイス２４８を使用することによって、ユーザは、端末装置１００上でアプリケーションをトリガする。アプリケーションは、端末装置１００のシステムアーキテクチャ２００上でペリフェラルインターフェイス２０６に接続されたカメラ２２０、オーディオシステム２２６、等であってよい。
ユーザのオペレーションを促進するために、本発明のこの実施例において、開始ユニットは、マイクロフォンによってピックアップされた信号の大きさ変化、または、他の条件変化をモニタし、開始されて準備フェイズに入るアプリケーション上でオペレーションを実行するためのインストラクションを出力するように動作ユニットをトリガする。特定的には、開始ユニット４０１は、端末装置上の少なくとも一つのマイクロフォンを動作化し、マイクロフォンが信号収集モードに入る。つまり、環境におけるオーディオ信号が収集される。ここで、環境におけるオーディオ信号は、環境からのあらゆるオーディオ信号であってよい。
特定的には、図５を参照すると、モニタリングユニット４０３は、動作化されたマイクロフォンを使用してオーディオ信号を収集するように構成されている、収集サブユニット４０３１と；収集されたオーディオ信号のスケッチ値を計算するように構成されている、計算サブユニット４０３３と；オーディオ信号のスケッチ値が事前設定の閾値より大きいか等しい否かを判断するように構成されている判断サブユニットであり、判断結果がはいの場合、マイクロフォンの信号状態は第１の状態であり、判断結果がいいえの場合、マイクロフォンの信号状態は第２の状態である、判断サブユニット４０３５と；それに応じて、制御インストラクションを出力するように構成されている、動作ユニットであり、マイクロフォンの信号状態が第１の状態情報から第２の状態に遷移する場合に、アプリケーションの現在のオペレーション状態を変更するように制御インストラクションを出力し、または、特定的には、マイクロフォンの信号状態が第２の状態から第１の状態に遷移する場合に、アプリケーションの現在のオペレーション状態を変更するように制御インストラクションを出力する、動作ユニット４０５と、を含んでいる。
開始ユニットがアプリケーションを開始して、端末が音声制御オペレーションモードに入ると、動作化ユニットがマイクロフォンを動作化し、マイクロフォンが信号収集モードに入る。このモードにおけるマイクロフォンは、環境音をモニタするための音環境モニタリングデバイスとして使用される。つまり、収集サブユニットが、環境から音を収集し、端末装置の周辺環境の音状態をピックアップする。周辺環境が比較的にノイズが多い場合、比較的に高いレベルの環境音モニタリング結果が出力される。例えば、より高い電圧または電流レベルである。もしくは、現在の音環境を表わすデジタル信号が出力される。周辺環境が比較的に静かな場合、比較的に低いレベルの音モニタリング結果が出力される。例えば、より低い電圧または電流レベルである。もしくは、現在の音環境を表わすデジタル信号が出力される。代替的に、完全に静かな環境においては、信号が出力されないか、デジタルノイズ信号だけが出力される。マイクロフォンが存在している環境の現在の音状態を表わすためである。マイクロフォンが信号を出力しているか否か、またはマイクロフォンによる信号出力の大きさは、マイクロフォンの信号状態として参照される。任意的な実施方法として、本発明のこの実施例において、判断サブユニットは、複雑で可変なマイクロフォンの信号状態を、事前設定の閾値に従って、単純に分類する。つまり、オーディオ信号のスケッチ値が、事前設定の閾値より大きいか又は等しいか否かを判断する。判断結果がはいの場合、マイクロフォンの信号状態は第１の状態であり、判断結果がいいえの場合、マイクロフォンの信号状態は第２の状態である。判断され分類された信号状態が、システムによって特定可能であり、読み出され得るようにである。任意的に、判断サブユニットによって取得された事前設定の閾値は、環境ノイズの状況に従って調整され得る。端末によってマイクロフォンの信号状態が取得された後で、モニタリングユニットは、マイクロフォンの信号状態をリアルタイムでモニタし、モニタリング結果に従って、対応するオペレーションを実行するように動作ユニットがトリガされる。複雑で可変なマイクロフォンの信号状態は、事前設定の閾値に従って、単純に分類される。特定的には、一方で、そうした状態分類は、込み入った環境ノイズに応じた出力である、マイクロフォンの信号状態がシステムによって特定され、読み出されるようにする。そして、他方では、状態分類は、マイクロフォンが存在している環境のノイズレベルを直接的に表わす。例えば、マイクロフォンの信号状態が第１の状態である場合、現在のノイズレベルが比較的に高いことが推測される。マイクロフォンの信号状態が第２の状態である場合、現在のノイズレベルは比較的に低いことが推測される。任意的に、取得されたマイクロフォンのオリジナル信号状態は、直接的にレジスタまたはメモリの中に保管されてよく、または、スムージング、ノイズ低減、および、値の平均化といった方法において処理された後で、レジスタまたはメモリの中に保管されてよい。マイクロフォンの信号状態が取得された後で、モニタリングユニットはマイクロフォンの信号状態をリアルタイムでモニタする。マイクロフォンの信号状態の変化が、事前設定の閾値を横切ることがわかると、すなわち、マイクロフォンの信号状態がより高いノイズレベルである第１の状態からより低いノイズレベルである第２の状態に遷移するか、または、より低いノイズレベルである第２の状態からより高いノイズレベルである第１の状態に遷移する場合である。特定的には、遷移の以前にマイクロフォンの信号状態が事前設定の閾値より高く、遷移の後ではマイクロフォンの信号状態が事前設定の閾値より低い場合、または、遷移の以前にマイクロフォンの信号状態が事前設定の閾値より低く、遷移の後ではマイクロフォンの信号状態が事前設定の閾値より高い場合である。そうした場合、端末は、開始されたアプリケーション上でアプリケーションオペレーションを実行するようにトリガ制御インストラクションを出力し、上記の状態遷移が端末によってモニタされると、現在のオペレーション状態を変更する。それによって、端末上のマイクロフォンを使用して端末装置のアプリケーション機能上でオペレーションを実施している。実際のアプリケーションのシナリオにおいて、状態遷移は、端末装置上のマイクロフォンを通じたユーザのコントロールに従って実施され得る。例えば、端末によって読み出されたマイクロフォンのオリジナル信号状態がより低いノイズレベルである第２の状態である場合は、ユーザが、音声ピックアップチャンネルがクローズ状態にあるように、マイクロフォンをブロックしているためであり得る。または、端末によって読み出されたマイクロフォンのオリジナル信号状態がより高いノイズレベルである第１の状態である場合は、ユーザが、音声ピックアップチャンネルがオープン状態にあるように、マイクロフォンをブロックしていないためであり得る。任意的に、実際のアプリケーションのシナリオにおいて、マイクロフォンの信号状態遷移は、複数の理由によって生じ得る。例えば、マイクロフォンの信号状態が第２の状態から第１の状態に遷移するように、クローズされた音声ピックアップチャンネルが今やオープンされていること、または、マイクロフォンの信号状態が第１の状態から第２の状態に遷移するように、オープンされた音声ピックアップチャンネルが今やクローズされていること、もしくは、マイクロフォンの信号状態が遷移するように、環境ノイズが突然かつ劇的に変化して、その変化が突然の低下または上昇であること、である。
特定的には、図６を参照すると、計算サブユニット４０３３は：オーディオ信号の信号エネルギ値を計算するように構成されている、エネルギ計算サブユニット４０３３ａ；または、オーディオ信号の信号アンプ値を計算するように構成されている、アンプ計算サブユニット４０３３ｂ；または、オーディオ信号の信号エネルギの変動値を計算するように構成されている、エネルギ変動計算サブユニット４０３３ｃ；または、オーディオ信号の信号アンプの変動値を計算するように構成されている、アンプ変動計算サブユニット４０３３ｄ、を含んでよい。
特定的な実施プロセスの最中に、マイクロフォンによって収集されたオーディオ信号のスケッチ値を計算することは、信号エネルギ値を計算すること、または、信号アンプ値を計算すること、または、信号エネルギの変動値を計算すること、または、信号アンプの変動値を計算すること、であり得る。従って、対応する計算サブユニットは、オーディオ信号の対応するスケッチ値について計算を実行する。
任意的に、動作化サブユニットは、複数のマイクロフォンが存在する場合に、端末装置上の少なくとも２つのマイクロフォンを動作化するように、構成されている。従って、モニタリングユニットは、さらに、少なくとも２つの動作化されたマイクロフォンの信号状態をモニタするように構成されている。そして、従って、動作ユニットは、少なくとも２つのマイクロフォンの信号状態において少なくとも２つの信号状態が遷移する場合に、アプリケーションの現在のオペレーション状態を変更するために、制御インストラクションを出力するように、構成されている。
任意的に、動作ユニットは、さらに、少なくとも２つのマイクロフォンの信号状態において少なくとも２つの信号状態が事前設定された時間インターバルのうちに遷移する場合に、アプリケーションの現在のオペレーション状態を変更するために、制御インストラクションを出力するように、構成されている。
任意的に、動作ユニットは、さらに、マイクロフォンの信号状態が遷移する場合にタイミングを実行し、かつ、事前設定された時間期間ｔが終了した場合に、アプリケーションの現在のオペレーション状態を変更するために、制御インストラクションを出力するように、構成されている。
上記の実施例に基づいて、図７を参照すると、本装置は、さらに、マイクロフォンの信号状態が遷移した場合に、時間期間ｔの終了後に制御インストラクションが出されるようにするためのプロンプト情報を送付するように構成されている、プロンプトユニット４０７を含んでいる。。ここで、プロンプト情報は、音声プロンプト、振動プロンプト、テキストプロンプト、または、光プロンプトである。
上記の実施例に基づいて、任意的に、動作化ユニットは、さらに、開始ユニットが端末装置上でアプリケーションを開始した後で、事前設定の時間期間後に端末装置上のマイクロフォンを動作化するように構成されている。
本発明のこの実施例において、マイクロフォンによってピックアップされた環境ノイズの変化が、端末アプリケーション上でオペレーションを実行するために使用される。それにより、オーディオ信号の取得における環境ノイズの干渉を回避しており、ユーザのキー押しオペレーションによる問題を低減している。加えて、端末装置上に複数のマイクロフォンが存在する場合には、少なくとも２つのマイクロフォンの信号状態遷移によって、インストラクションの出力が判断される。このことは、オペレーションの正確性のために役立ち、ユーザのオペレーションプロセスの最中の片手での誤操作によって生じるトリガーオペレーションを回避する。さらに、複数のマイクロフォンの信号状態は同時に遷移してよく、かつ、制御インストラクションの出力をトリガするための事前設定のインターバルにおいて遷移してもよい。このことは、オペレーションの最中にユーザに対する利便性と多様性をもたらすのを手助けし、さらに、ユーザ経験を拡張する。
２１０ モーションセンサ
２２０ カメラサブシステム
２３０ マイクロフォン
２４０ Ｉ／Ｏサブシステム
２５０ メモリ
４０１ 開始ユニット
４０３ モニタリングユニット
４０５ 動作ユニット
４０７ プロンプトユニット

Claims (17)

  1. 端末上で音声制御オペレーションを実行するための方法であって：
    前記端末上でアプリケーションを開始して、前記端末上のマイクロフォンを動作化するステップと；
    前記動作化されたマイクロフォンの信号状態をモニタするステップと；
    前記マイクロフォンの前記信号状態が遷移するときに、前記アプリケーションの現在のオペレーション状態を変更するための制御インストラクションを出力するステップと、
    を含み、
    前記動作化されたマイクロフォンの信号状態をモニタするステップは：
    前記動作化されたマイクロフォンを使用してオーディオ信号を収集して、前記オーディオ信号のスケッチ値を計算するステップ、を含み、さらに、
    前記オーディオ信号の前記スケッチ値が、事前設定の閾値より大きいか又は等しいか否かを判断するステップ、を含み、
    前記事前設定の閾値は、環境ノイズに応じて自己調整される、
    方法。
  2. 前記動作化されたマイクロフォンの信号状態をモニタするステップにおける、前記オーディオ信号の前記スケッチ値が、事前設定の閾値より大きいか又は等しいか否かを判断する前記ステップは、さらに、
    前記オーディオ信号の前記スケッチ値が事前設定の閾値より大きいか又は等しいと判断する場合、前記マイクロフォンの前記信号状態は第１の状態であり、前記オーディオ信号の前記スケッチ値が事前設定の閾値より大きいか又は等しいものではないと判断する場合、前記マイクロフォンの前記信号状態は第２の状態である、ステップを含み、
    前記マイクロフォンの前記信号状態が遷移するときに、前記アプリケーションの現在のオペレーション状態を変更するための制御インストラクションを出力する前記ステップは：
    前記マイクロフォンの前記信号状態が前記第１の状態から前記第２の状態へ遷移するとき、または、前記第２の状態から前記第１の状態へ遷移するときに、前記アプリケーションの現在のオペレーション状態を変更するための前記制御インストラクションを出力する、ステップを含む、
    請求項１に記載の方法。
  3. 複数のマイクロフォンが存在し、
    前記端末上でアプリケーションを開始して、前記端末上のマイクロフォンを動作化する前記ステップは：前記端末上で前記開始して、前記端末上の前記複数のマイクロフォンのうち少なくとも２つのマイクロフォンを動作化すること、を含む、
    請求項１または２に記載の方法。
  4. 前記動作化されたマイクロフォンの信号状態をモニタする前記ステップは：
    少なくとも２つの前記動作化されたマイクロフォンに係るマイクロフォン信号状態をモニタするステップと；
    前記マイクロフォンの前記信号状態が遷移するとき、前記アプリケーションの現在のオペレーション状態を変更するための制御インストラクションを出力する前記ステップは：前記少なくとも２つの動作化されたマイクロフォンの前記マイクロフォン信号状態において少なくとも２つの信号状態が遷移するときに、前記アプリケーションの前記現在のオペレーション状態を変更するために前記制御インストラクションを出力するステップと、
    を含む、請求項３に記載の方法。
  5. 前記少なくとも２つの動作化されたマイクロフォンの前記マイクロフォン信号状態において少なくとも２つの信号状態が遷移するときに、前記アプリケーションの前記現在のオペレーション状態を変更するために前記制御インストラクションを出力する前記ステップは：
    前記少なくとも２つの動作化されたマイクロフォンの前記マイクロフォン信号状態において少なくとも２つの信号状態が事前設定された時間インターバルのうちに遷移するときに、前記アプリケーションの前記現在のオペレーション状態を変更するために制御インストラクションを出力するステップ、
    を含む、請求項４に記載の方法。
  6. 前記マイクロフォンの前記信号状態が遷移するときに、前記アプリケーションの前記現在のオペレーション状態を変更するために前記制御インストラクションを出力する前記ステップは：
    前記マイクロフォンの前記信号状態が遷移するときに時間計測を開始し、かつ、事前設定された時間期間ｔが終了した場合に、前記アプリケーションの前記現在のオペレーション状態を変更するために前記制御インストラクションを出力するステップ、
    を含む、請求項１乃至５いずれか一項に記載の方法。
  7. 前記方法は、さらに、
    前記マイクロフォンの前記信号状態が遷移するときに、時間期間ｔの終了後に前記制御インストラクションが出されるようにするためのプロンプト情報を送付するステップであり、前記プロンプト情報は、音声プロンプト、振動プロンプト、テキストプロンプト、または、光プロンプトである、ステップと、
    を含む、請求項１乃至６いずれか一項に記載の方法。
  8. 前記端末上でアプリケーションを開始して、前記端末上のマイクロフォンを動作化する前記ステップは：
    前記端末上で前記アプリケーションを開始し、事前設定の時間期間後に前記端末上の前記マイクロフォンを動作化するステップと、
    を含む、請求項１乃至７いずれか一項に記載の方法。
  9. 端末であって、マイクロフォンを含み、さらに、
    前記端末上でアプリケーションを開始し、前記端末上のマイクロフォンを動作化するように構成されている、開始ユニットと；
    前記動作化された前記マイクロフォンの信号状態をモニタするように構成されている、モニタリングユニットと；
    前記マイクロフォンの前記信号状態が遷移するときに、前記アプリケーションの現在のオペレーション状態を変更するために制御インストラクションを出力するように構成されている、動作ユニットと、
    を含み、
    前記モニタリングユニットは：
    前記動作化されたマイクロフォンを使用してオーディオ信号を収集するように構成されている、収集サブユニットと；
    前記収集されたオーディオ信号のスケッチ値を計算するように構成されている、計算サブユニットと、を含み、さらに、
    前記オーディオ信号の前記スケッチ値が事前設定の閾値より大きいか等しい否かを判断するように構成されている判断サブユニット、を含み、
    前記事前設定の閾値は、環境ノイズに応じて自己調整される、
    端末。
  10. 前記モニタリングユニットにおける、前記オーディオ信号の前記スケッチ値が事前設定の閾値より大きいか等しい否かを判断するように構成されている前記判断サブユニットは、さらに、
    判断結果が前記オーディオ信号の前記スケッチ値が事前設定の閾値より大きいか等しい場合、前記マイクロフォンの前記信号状態は第１の状態であり、判断結果が前記オーディオ信号の前記スケッチ値が事前設定の閾値未満である場合、前記マイクロフォンの前記信号状態は第２の状態であり、
    制御インストラクションを出力するように構成されている、前記動作ユニットは、
    前記マイクロフォンの前記信号状態が第１の状態情報から第２の状態に遷移するときに、前記アプリケーションの前記現在のオペレーション状態を変更するように制御インストラクションを出力し、または、
    前記マイクロフォンの前記信号状態が第２の状態から第１の状態に遷移するときに、前記アプリケーションの前記現在のオペレーション状態を変更するように制御インストラクションを出力する、
    請求項９に記載の端末。
  11. 前記開始ユニットは、複数のマイクロフォンが存在する場合に、
    前記端末上の少なくとも２つのマイクロフォンを動作化するように構成されている、動作化サブユニット、
    を含む、請求項９または１０に記載の端末。
  12. 前記モニタリングユニットは、前記少なくとも２つの動作化されたマイクロフォンの信号状態をモニタするように構成されており、
    前記動作ユニットは、前記少なくとも２つの動作化されたマイクロフォンの前記マイクロフォンの信号状態において少なくとも２つの信号状態が遷移するときに、前記アプリケーションの前記現在のオペレーション状態を変更するために、前記制御インストラクションを出力するように、構成されている、
    請求項１１に記載の端末。
  13. 前記動作ユニットは、さらに、
    前記少なくとも２つの動作化されたマイクロフォンの前記マイクロフォンの信号状態において少なくとも２つの信号状態が事前設定された時間インターバルのうちに遷移するときに、前記アプリケーションの前記現在のオペレーション状態を変更するために、前記制御インストラクションを出力するように、構成されている、
    請求項１２に記載の端末。
  14. 前記動作ユニットは、さらに、
    前記マイクロフォンの前記信号状態が遷移するときにタイミングを実行し、かつ、
    事前設定された時間期間ｔが終了した場合に、前記アプリケーションの前記現在のオペレーション状態を変更するために、前記制御インストラクションを出力するように、構成されている、
    請求項１０乃至１３いずれか一項に記載の端末。
  15. 前記端末は、さらに、
    前記マイクロフォンの前記信号状態が遷移した場合に、時間期間ｔの終了後に前記制御インストラクションが出されるようにするためのプロンプト情報を送付するように構成されている、プロンプトユニットを含み、
    前記プロンプト情報は、音声プロンプト、振動プロンプト、テキストプロンプト、または、光プロンプトである、
    請求項１０乃至１４いずれか一項に記載の端末。
  16. 前記動作化サブユニットは、さらに、
    前記端末上で前記アプリケーションが開始された後で、事前設定の時間期間後に前記端末上の前記マイクロフォンを動作化するように構成されている、
    請求項１１に記載の端末。
  17. プログラムが記録されたコンピュータで読取り可能なストレージ媒体であって、前記プログラムが実行されると前記コンピュータは請求項１乃至８いずれか一項に記載の方法を実施する、コンピュータで読取り可能なストレージ媒体。
JP2014251445A 2013-12-13 2014-12-12 端末上で音声制御オペレーションを実行するための方法および装置 Expired - Fee Related JP6023780B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310687006.6 2013-12-13
CN201310687006.6A CN104715757A (zh) 2013-12-13 2013-12-13 一种终端声控操作方法及装置

Publications (2)

Publication Number Publication Date
JP2015135667A JP2015135667A (ja) 2015-07-27
JP6023780B2 true JP6023780B2 (ja) 2016-11-09

Family

ID=52146095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014251445A Expired - Fee Related JP6023780B2 (ja) 2013-12-13 2014-12-12 端末上で音声制御オペレーションを実行するための方法および装置

Country Status (5)

Country Link
US (1) US20150170672A1 (ja)
EP (1) EP2884385A1 (ja)
JP (1) JP6023780B2 (ja)
KR (1) KR20150069535A (ja)
CN (1) CN104715757A (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9521497B2 (en) * 2014-08-21 2016-12-13 Google Technology Holdings LLC Systems and methods for equalizing audio for playback on an electronic device
US9411440B2 (en) * 2014-08-22 2016-08-09 Qualcomm Incorporated Digital ultrasonic emitting base station
KR20170010494A (ko) * 2015-07-20 2017-02-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9858948B2 (en) * 2015-09-29 2018-01-02 Apple Inc. Electronic equipment with ambient noise sensing input circuitry
CN106199620B (zh) * 2016-07-11 2018-09-21 广东欧珀移动通信有限公司 数据处理方法、数据处理系统及终端设备
CN106412295A (zh) * 2016-09-29 2017-02-15 努比亚技术有限公司 一种基于虚拟按键的移动终端
CN107026934B (zh) * 2016-10-27 2019-09-27 华为技术有限公司 一种声源定位方法和装置
CN106534578A (zh) * 2016-12-09 2017-03-22 联想(北京)有限公司 电子设备及其声音控制方法
CN109147776A (zh) * 2017-06-19 2019-01-04 丽宝大数据股份有限公司 具有声控功能的显示装置及声控时机指示方法
CN108540672A (zh) * 2018-06-22 2018-09-14 西安易朴通讯技术有限公司 吹气触发方法及终端设备
CN109065058B (zh) * 2018-09-30 2024-03-15 合肥鑫晟光电科技有限公司 语音通信方法、装置及系统
CN111182209A (zh) * 2019-12-31 2020-05-19 维沃移动通信有限公司 拍照提示的方法及电子设备
CN114979355B (zh) * 2022-05-30 2024-09-24 维沃移动通信有限公司 麦克风的控制方法、装置及电子设备
CN116935893A (zh) * 2023-09-13 2023-10-24 杭州艾力特数字科技有限公司 一种声音识别告警方法、系统、电子设备及介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3225356B2 (ja) * 1989-11-29 2001-11-05 コニカ株式会社 スチルビデオカメラ
JP4574780B2 (ja) * 2000-02-23 2010-11-04 オリンパス株式会社 音声記録装置
JPWO2005045807A1 (ja) * 2003-11-05 2007-05-24 三洋電機株式会社 電子機器
JP4757173B2 (ja) * 2006-11-17 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
US7817914B2 (en) * 2007-05-30 2010-10-19 Eastman Kodak Company Camera configurable for autonomous operation
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
KR101605347B1 (ko) * 2009-12-18 2016-03-22 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
JP2011198348A (ja) * 2010-02-24 2011-10-06 Sanyo Electric Co Ltd 録音装置
WO2011116309A1 (en) * 2010-03-19 2011-09-22 Digimarc Corporation Intuitive computing methods and systems
US8359020B2 (en) * 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
JP5701007B2 (ja) * 2010-10-19 2015-04-15 キヤノン株式会社 監視カメラ装置及び監視カメラ装置の制御方法
US9269399B2 (en) * 2011-06-13 2016-02-23 Voxx International Corporation Capture, syncing and playback of audio data and image data
TW201316328A (zh) * 2011-10-14 2013-04-16 Hon Hai Prec Ind Co Ltd 聲音反饋裝置及其工作方法
JP2013156768A (ja) * 2012-01-27 2013-08-15 Sharp Corp 入力インターフェース装置、電子機器、携帯端末機器、プログラムおよび記録媒体
US9142215B2 (en) * 2012-06-15 2015-09-22 Cypress Semiconductor Corporation Power-efficient voice activation
US9319513B2 (en) * 2012-07-12 2016-04-19 International Business Machines Corporation Automatic un-muting of a telephone call
KR20140116618A (ko) * 2013-03-25 2014-10-06 삼성전자주식회사 알람 제어 방법 및 이를 지원하는 전자 장치
US9134952B2 (en) * 2013-04-03 2015-09-15 Lg Electronics Inc. Terminal and control method thereof

Also Published As

Publication number Publication date
JP2015135667A (ja) 2015-07-27
CN104715757A (zh) 2015-06-17
US20150170672A1 (en) 2015-06-18
EP2884385A1 (en) 2015-06-17
KR20150069535A (ko) 2015-06-23

Similar Documents

Publication Publication Date Title
JP6023780B2 (ja) 端末上で音声制御オペレーションを実行するための方法および装置
JP7005646B2 (ja) 撮影方法及び端末
EP2620844B1 (en) Apparatus and method for adjusting touch sensitivity in mobile terminal
WO2016191938A1 (zh) 通过触控板调节移动终端拍照焦距的方法和移动终端
WO2017124773A1 (zh) 手势识别方法及装置
KR102165818B1 (ko) 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
KR20150006191A (ko) 파노라마 이미지 운용 방법 및 그 전자 장치
CN103210366A (zh) 用于基于邻近的输入的装置和方法
CN104240278B (zh) 设备主体位置的确定
CN103995666A (zh) 一种设置工作模式的方法和装置
CN106371589A (zh) 一种移动设备操作方法、装置及移动设备
CN111742543A (zh) 电子设备及其记录方法
CN104298424A (zh) 一种文件操作方法及装置
CN103955274A (zh) 应用控制方法和装置
US9641746B2 (en) Image capturing apparatus and control method for selecting from successively-captured images
CN108234738B (zh) 音量调节方法、装置、终端及存储介质
JP2022554129A (ja) 撮影方法及び電子機器
KR20140019678A (ko) 그래픽 사용자 인터페이스 객체 생성 방법 및 장치
CN108829475A (zh) Ui绘制方法、装置及存储介质
CN109302563B (zh) 防抖处理方法、装置、存储介质及移动终端
CN109189313B (zh) 移动装置及其控制方法
CN105487774A (zh) 图像分组方法及装置
CN109194810A (zh) 显示控制方法及相关产品
US10708405B2 (en) Electronic apparatus, control device, and recording medium
JP2017130736A (ja) 撮像制御装置、撮像制御方法及びコンピュータプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161007

R150 Certificate of patent or registration of utility model

Ref document number: 6023780

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees