JP7308929B2

JP7308929B2 - 音声処理方法及び移動端末

Info

Publication number: JP7308929B2
Application number: JP2021511616A
Authority: JP
Inventors: 慧子 ▲韓▼
Original assignee: Vivo Mobile Communication Co Ltd
Current assignee: Vivo Mobile Communication Co Ltd
Priority date: 2018-08-30
Filing date: 2019-07-16
Publication date: 2023-07-14
Anticipated expiration: 2039-07-16
Also published as: KR102554899B1; CN109218526A; JP2021536061A; US20210225376A1; KR20210052513A; EP3846426B1; EP3846426A1; EP3846426A4; CN109218526B; WO2020042784A1; ES2958814T3

Description

（関連出願の相互参照）
本願は、２０１８年８月３０日に中国に提出された中国特許出願２０１８１１００１５１９．６の優先権を主張し、その全ての内容が援用によりここに取り込まれる。
本開示は、音声認識技術分野に係り、特に音声処理方法及び移動端末に係る。

電子技術の展開に伴い、音声認識の技術は、ますます成熟し、認識精度がますます高くなっているので、広く応用されている。現在、移動端末（例えばスマートフォンやタブレットパソコンなど）における音声認識は、主に音声入力モードと音声制御モードの２つのモードを有する。

音声入力モードでは、移動端末は、受信した音声をテキストコンテンツに変換し、入力ボックスに書き込む。この音声入力モードは、ユーザがテキストコンテンツを入力する必要があるシナリオ、特に、大量のテキストコンテンツを入力する必要があるシナリオに適し、テキストコンテンツ入力の速度を大きく向上させることができる。

音声制御モードでは、移動端末は、受信した音声を認識し、認識したコンテンツに基づいて、対応する操作を実行するように前記移動端末を制御する。この音声制御モードは、ユーザが移動端末を手動で操作するのに不便なシナリオに適用し、ユーザの両手を解放してユーザに便宜を提供することができる。

関連技術において、移動端末では、音声認識機能をオンにした状態で異なる２つの音声認識モードの切り替えをトリガするように、固定のキーしか設けられていない。

このように、関連技術の音声モードの切り替えは、ユーザの手動による操作を必要とし、利便性が不十分である。

本開示の一部実施例は、音声モードの切り替えにユーザの手動操作を必要とし、利便性が不十分であるという関連技術の問題を解決するために、音声処理方法及び移動端末を提供する。

第１態様として、本開示の一部実施例は、移動端末に応用される音声処理方法を提供する。前記方法は、音声入力を受信することと、前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示することと、前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することとを含む。

第２態様として、本開示の一部実施例は、移動端末を提供する。前記移動端末は、音声入力を受信する受信モジュールと、前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示する表示モジュールと、前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御する制御モジュールとを含む。

第３態様として、本開示の一部実施例は、プロセッサと、メモリと、前記メモリに格納されて前記プロセッサで実行可能なコンピュータプログラムとを含む移動端末を提供し、前記コンピュータプログラムが前記プロセッサによって実行されると、上記音声処理方法のステップが実現される。

第４態様として、本開示の一部実施例は、コンピュータプログラムが格納されているコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータプログラムがプロセッサによって実行されると、上記音声処理方法のステップが実現される。

本開示の一部実施例において、前記音声処理方法は、音声入力を受信し、前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示し、前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御する。このように、移動端末に表示されるインターフェースが満たす条件に応じて、移動端末が受信した音声入力を処理することができ、ユーザの手動操作を必要とすることなく、受信した音声入力に対して対応の処理を行うことができ、ユーザが手動で音声モードを切り替える手間が省け、携帯性が向上する。

本開示の一部実施例の技術手段をより明確に説明するために、以下、本開示の一部実施例の記載に必要とされる図面を簡単に紹介する。明らかに、以下の記載に関する図面は、単に本開示の一部の実施例である。当業者にとって、創造性のある作業をしない前提で、これらの図面から他の図面を得ることもできる。

本開示の一部実施例に係る音声処理方法のフローチャートである。本開示の一部実施例に係るユーザインターフェースの模式図その１である。本開示の一部実施例に係るユーザインターフェースの模式図その２である。本開示の一部実施例に係る別のユーザインターフェースの模式図その３である。本開示の一部実施例に係る音声処理方法のフローチャートである。本開示の一部実施例に係る移動端末の構造図である。本開示の一部実施例に係る移動端末のハードウェア構造図である。

以下、本開示の一部実施例の図面とともに、本開示の一部実施例の技術手段を明確且つ完全的に記載する。明らかに、記載する実施例は、本開示の実施例の一部であり、全てではない。本開示の実施例に基づき、当業者が創造性のある作業をしなくても為しえる全ての他の実施例は、いずれも本開示の保護範囲に属するものである。

図１は、本開示の一部実施例に係る音声処理方法のフローチャートである。前記音声処理方法は、移動端末に応用され、図１に示すように、以下のステップを含む。

ステップ１０１において、音声入力を受信する。

本開示の一部実施例において、ユーザは、前記移動端末の音声認識機能を使用する必要がある場合、音声を入力し、前記移動端末は、音声入力を受信する。具体的には、前記移動端末は、音声認識機能をオンにした状態で音声入力を受信する。前記移動端末の音声認識機能は、仮想キーによるトリガでオンにされてもよく、実体キーによるトリガでオンにされてもよい。前記移動端末の音声認識機能は、入力された音声を認識して文字に変換し、前記移動端末のインターフェースに表示することをサポートし、入力された音声を認識し、入力された音声に応じて、対応する操作を実行するように前記移動端末を制御することもサポートする。

ステップ１０２において、前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示する。

本ステップにおいて、前記移動端末は、前記移動端末に表示されるインターフェースが第１所定条件を満たすか否かを判断し、前記移動端末に表示されるインターフェースが前記第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示する。このように、ユーザから入力した音声をテキストコンテンツに変換して入力ボックスに追加することを実現する。例えば、ユーザから入力した音声が「今日はいい天気だね」であると仮定すると、図２に示すように、前記移動端末は、ユーザから入力した音声を「今日はいい天気だね」という文字コンテンツに変換して、前記移動端末に表示されるインターフェースに表示する。なお、本開示の一部実施例において、前記移動端末は、ユーザから入力した音声のイントネーションを認識し、音声入力から変換された文字コンテンツと組み合わせて、図３に示すように、前記入力ボックスに句読点を追加する。

前記第１所定条件は、前記移動端末に表示されるインターフェースに入力コントロールを含むことである。この場合、前記移動端末に表示されるインターフェースに入力コントロールを含むと、前記移動端末に表示されるインターフェース上の入力コントロール内において前記音声入力に対応するテキストコンテンツを表示する。

また、前記第１所定条件は、前記移動端末に表示されるインターフェースに入力コントロールを含み、且つ前記音声入力に対応するテキストコンテンツが目標コンテンツではないことであってもよい。この場合、前記移動端末に表示されるインターフェースに入力コントロールを含み、且つ前記音声入力に対応するテキストコンテンツが目標コンテンツではないと、前記移動端末に表示されるインターフェース上の入力コントロール内において前記音声入力に対応するテキストコンテンツを表示する。

更に、前記第１所定条件は、前記移動端末に表示されるインターフェースに入力コントロールを含み、且つ前記移動端末が目標アイコンを目標領域に移動させるための第１入力を受信しなかったことであってもよい。この場合、前記移動端末に表示されるインターフェースに入力コントロールを含み、且つ目標アイコンを目標領域に移動させるための第１入力が受信されないと、前記移動端末に表示されるインターフェース上の入力コントロール内おいて前記音声入力に対応するテキストコンテンツを表示する。

前記移動端末は、前記移動端末に表示されるインターフェース中のコンポーネントに基づいて、前記移動端末に表示されるインターフェースに入力コントロールを含むかを判断する。具体的には、前記移動端末は、表示されているインターフェース中のコンポーネントを取得し、前記移動端末に表示されるインターフェース中のコンポーネントに目標コンポーネントを含むかを判断する。前記移動端末に表示されるインターフェース中のコンポーネントに前記目標コンポーネントを含む場合、前記移動端末は、前記移動端末に表示されるインターフェースに入力コントロールを含むと決定する。逆に、前記移動端末に表示されるインターフェース中のコンポーネントに前記目標コンポーネントを含まない場合、前記移動端末は、前記移動端末に表示されるインターフェースに入力コントロールを含まないと決定する。前記目標コンポーネントは、テキストを入力できるコンポーネントであり、例えば「ｔｅｘｔｆｉｌｅｄ」コンポーネントである。

ステップ１０３において、前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御する。

本ステップにおいて、前記移動端末は、前記移動端末に表示されるインターフェースが第２所定条件を満たすか否かを判断し、前記移動端末に表示されるインターフェースが前記第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御する。なお、本開示の一部実施例において、異なるテキストコンテンツは、異なる指示に対応する。前記移動端末に表示されるインターフェースが前記第２所定条件を満たす場合、前記移動端末は、前記音声入力をテキストコンテンツに変換し、前記音声入力に対応するテキストコンテンツに対応する指示を取得し、前記テキストコンテンツに対応する指示を実行するように前記移動端末を制御する。なお、本開示の他の実施例において、異なる音声コンテンツは、異なる指示に対応する。前記移動端末に表示されるインターフェースが前記第２所定条件を満たす場合、前記移動端末は、前記音声入力の音声コンテンツに対応する指示を取得し、前記音声入力の音声コンテンツに対応する指示を実行するように前記移動端末を制御する。

前記第２所定条件は、前記移動端末に表示されるインターフェースに入力コントロールを含まないことである。この場合、前記移動端末に表示されるインターフェースに入力コントロールを含まないと、ユーザが音声を文字に変換して入力する意図がないことを意味し、前記音声入力に対応する指示を実行するように前記移動端末を制御する。

また、前記第２所定条件は、前記移動端末に表示されるインターフェースに入力コントロールを含むが、前記音声入力に対応するテキストコンテンツが目標コンテンツであることであってもよい。この場合、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ前記音声入力に対応するテキストコンテンツが目標コンテンツであると、前記音声入力に対応する指示を実行するように前記移動端末を制御する。

更に、前記第２所定条件は、前記移動端末に表示されるインターフェースに入力コントロールを含むが、目標アイコンを目標領域に移動させるための第１入力が受信されたことであってもよい。この場合、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ前記目標アイコンを前記目標領域に移動させるための第１入力が受信されると、前記音声入力に対応する指示を実行するように前記移動端末を制御する。

本開示の一部実施例において、上記移動端末は、携帯電話、タブレットパソコン（ＴａｂｌｅｔＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）、ラップトップコンピュータ（ＬａｐｔｏｐＣｏｍｐｕｔｅｒ）、携帯情報端末ＰＤＡ（ｐｅｒｓｏｎａｌｄｉｇｉｔａｌａｓｓｉｓｔａｎｔ）、モバイルネットワークデバイスＭＩＤ（ＭｏｂｉｌｅＩｎｔｅｒｎｅｔＤｅｖｉｃｅ）又はウェアラブルデバイス（ＷｅａｒａｂｌｅＤｅｖｉｃｅ）、デジタルカメラなどの電子機器である。

本実施例において、前記音声処理方法は、音声入力を受信し、前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示し、前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御する。このように、移動端末に表示されるインターフェースが満たす条件に応じて、移動端末が受信した音声入力を処理することができ、ユーザの手動操作を必要とすることなく、受信した音声入力に対して対応の処理を行うことができ、ユーザが手動で音声モードを切り替える手間が省け、携帯性が向上する。

選択可能に、前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示することは、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ前記音声入力に対応するテキストコンテンツが目標コンテンツではない場合、前記移動端末に表示されるインターフェース上の入力コントロール内に前記音声入力に対応するテキストコンテンツを表示することを含む。

本実施例において、前記第１所定条件は、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ前記音声入力に対応するテキストコンテンツが目標コンテンツではないことである。前記移動端末に表示されるインターフェースに入力コントロールを含む場合、前記移動端末は、更に、前記音声入力に対応するテキストコンテンツが目標コンテンツであるか否かを判断する。具体的には、前記音声入力に対応するテキストコンテンツが目標コンテンツではない場合、前記移動端末に表示されるインターフェースが前記第１所定条件を満たすと決定する。逆に、前記音声入力に対応するテキストコンテンツが前記目標コンテンツである場合、前記移動端末に表示されるインターフェースが前記第１所定条件を満たさないと決定する。

選択可能に、前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示することは、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ目標アイコンを目標領域に移動させるための第１入力が受信されなかった場合、前記移動端末に表示されるインターフェース上の入力コントロール内に前記音声入力に対応するテキストコンテンツを表示することを含む。ここで、前記目標アイコンは、前記移動端末に表示されるインターフェースに入力コントロールを含む場合に、前記移動端末のインターフェースに表示されるアイコンである。

本実施例において、前記第１所定条件は、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ前記移動端末が目標アイコンを目標領域に移動させるための第１入力を受信しなかったことである。

前記移動端末に表示されるインターフェースに入力コントロールを含むと、前記移動端末は、前記移動端末のインターフェースに目標アイコンを表示する。例えば、図４に示すアイコン４０１を表示する。ユーザが音声制御機能をトリガする必要があれば、目標アイコンを目標領域（図示の領域４０２）に移動させる。前記移動端末は、前記目標アイコンを前記目標領域に移動させるための第１入力を受信しなかった場合、前記移動端末に表示されるインターフェース上の入力コントロール内に前記音声入力に対応するテキストコンテンツを表示する。

選択可能に、前記の前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することは、前記移動端末に表示されるインターフェースに入力コントロールを含まない場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することを含む。

本実施例において、前記第２所定条件は、前記移動端末に表示されるインターフェースに入力コントロールを含まないことを含む。なお、前記移動端末に表示されるインターフェースに入力コントロールを含まない場合、ユーザが音声を文字に変換して入力する意図がないことを意味し、前記音声入力に対応する指示を実行するように前記移動端末を制御する。

選択可能に、前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することは、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ前記音声入力に対応するテキストコンテンツが目標コンテンツである場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することを含む。

本実施例において、前記第２所定条件は、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ前記音声入力に対応するテキストコンテンツが目標コンテンツであることを含む。なお、前記移動端末に表示されるインターフェースに入力コントロールを含む場合、ユーザは、前記移動端末による一部指示の実行を音声で制御する可能性もあり、例えば、音声によるテキスト入力の終了後に、入力したテキストコンテンツを送信する必要があるか、又は、前記移動端末に表示されるインターフェースを終了又は切り替える必要がある。従って、前記移動端末に表示されるインターフェースに入力コントロールを含む場合に前記移動端末による対応する指示の実行をトリガするように、予め目標コンテンツを設定することができる。前記移動端末は、前記音声入力に対応するテキストコンテンツが前記目標コンテンツであるかを判断する。前記テキストコンテンツが目標コンテンツではない場合、前記移動端末は、前記音声入力に対応するテキストコンテンツを前記入力ボックスに表示する。逆に、前記テキストコンテンツが前記目標コンテンツである場合、前記音声入力に対応するテキストコンテンツに対応する指示を実行するように前記移動端末を制御する。

本実施例において、異なる目標コンテンツは、異なる指示に対応する。前記音声入力に対応するテキストコンテンツが第１目標コンテンツである場合、前記第１目標コンテンツに対応する指示を実行するように前記移動端末を制御する。前記音声入力に対応するテキストコンテンツが第２目標コンテンツである場合、前記第２目標コンテンツに対応する指示を実行するように前記移動端末を制御する。具体的には、前記音声入力に対応するテキストコンテンツが第１目標コンテンツ（例えば「送信」）である場合、前記入力コントロール内のコンテンツを送信するように前記移動端末を制御する。前記テキストコンテンツが第２目標コンテンツ（例えば「終了」又は「切り替え」）である場合、前記移動端末のインターフェースを終了又は切り替える。

なお、前記音声入力に対応するテキストコンテンツが第１目標コンテンツである場合、前記移動端末は、まず、前記入力コントロール内のコンテンツについてヌルであるかを判断し、前記入力コントロール内のコンテンツがヌルでない場合のみ、前記入力コントロール内のコンテンツを送信する。

選択可能に、前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することは、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ目標アイコンを目標領域に移動させるための第１入力が受信されると、前記音声入力に対応する指示を実行するように前記移動端末を制御することを含む。ここで、前記目標アイコンは、前記移動端末に表示されるインターフェースに入力コントロールを含む場合に、前記移動端末のインターフェースに表示されるアイコンである。

本実施例において、前記第２所定条件は、前記移動端末に表示されるインターフェースに入力コントロールを含まないことである。又は、前記第２所定条件は、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ前記移動端末が目標アイコンを目標領域に移動させるための第１入力を受信したことである。

前記移動端末に表示されるインターフェースに入力コントロールを含む場合、前記移動端末は、前記移動端末のインターフェースに目標アイコンを表示し、例えば、図４に示すアイコン４０１を表示する。ユーザが音声制御機能をトリガする必要がある場合、目標アイコンを目標領域（図示の領域４０２）に移動させる。前記移動端末は、前記目標アイコンを前記目標領域に移動させるための第１入力を受信すると、前記移動端末に表示されるインターフェースが第２所定条件を満たすと決定し、前記音声入力に対応する指示を実行するように前記移動端末を制御する。

なお、前記目標アイコンは、音声入力機能に対応するアイコンである。前記移動端末は、移動端末のインターフェースに図４に示すアイコン４０１を表示する。移動端末の現在の音声モードを分かりやすくするために、「書き取り」をアイコンに付け加えるが、アイコンに「書き取り」を付け加えなくてもよい。前記目標領域は、予め設定された任意の領域である。前記移動端末は、前記目標領域に、図４に示すような「ここまでドラッグして書き取りを終了する」という文字コンテンツを付け加えることによって、目標領域の位置を分かりやすくし、又は、前記移動端末をどのように音声入力モードから終了させるかを分かりやすくするが、前記目標領域に何らのコンテンツも付け加えなくてもよい。図４に示すアイコン４０１及び目標領域４０２は、単に例示に過ぎず、これに限定されない。

図５は、本開示の一部実施例に係る別の音声処理方法のフローチャートである。前記方法は、移動端末に応用し、図５に示すように、以下のステップを含む。

ステップ５０１において、音声入力を受信する。

該ステップ５０１は、本開示の図１に示す実施例のステップ１０１と同じであるため、ここでは繰り返して述べない。

ステップ５０２において、前記移動端末に表示されるインターフェースに入力コントロールを含む場合、前記移動端末に表示されるインターフェース上の入力コントロール内に前記音声入力に対応するテキストコンテンツを表示する。

前記移動端末に表示されるインターフェースに入力コントロールを含む場合、ユーザが音声を文字に変換して前記入力コントロールに入力する希望があることを意味し、前記移動端末に表示されるインターフェース上の入力コントロール内に前記音声入力に対応するテキストコンテンツを表示する。

ステップ５０３において、前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御する。

該ステップ５０３は、本開示の図１に示す実施例のステップ１０３と同じであるため、ここでは繰り返して述べない。

本実施例において、前記音声処理方法は、音声入力を受信し、前記移動端末に表示されるインターフェースに入力コントロールを含む場合、前記移動端末に表示されるインターフェースの入力コントロール内に前記音声入力に対応するテキストコンテンツを表示し、前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御する。このように、移動端末に表示されるインターフェースが入力コントロールを含むか否かに応じて、移動端末が受信した音声入力を処理することができ、ユーザの手動操作を必要とすることなく、受信した音声入力に対して対応の処理を行うことができ、ユーザが手動で音声モードを切り替える手間が省け、携帯性が向上する。

図６は、本開示の一部実施例に係る移動端末の構造図である。図６に示すように、移動端末６００は、音声入力を受信する受信モジュール６０１と、前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示する表示モジュール６０２と、前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御する制御モジュール６０３とを含む。

選択可能に、前記表示モジュール６０２は、具体的に、前記移動端末に表示されるインターフェースに入力コントロールを含む場合、前記移動端末に表示されるインターフェース上の入力コントロール内に前記音声入力に対応するテキストコンテンツを表示する。

選択可能に、前記表示モジュール６０２は、具体的に、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ前記音声入力に対応するテキストコンテンツが目標コンテンツではない場合、前記移動端末に表示されるインターフェース上の入力コントロール内に前記音声入力に対応するテキストコンテンツを表示する。

選択可能に、前記表示モジュール６０２は、具体的に、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ目標アイコンを目標領域に移動させるための第１入力が受信されなかった場合、前記移動端末に表示されるインターフェース上の入力コントロール内に前記音声入力に対応するテキストコンテンツを表示する。ここで、前記目標アイコンは、前記移動端末に表示されるインターフェースに入力コントロールを含む場合に、前記移動端末のインターフェースに表示されるアイコンである。

選択可能に、前記制御モジュール６０３は、具体的に、前記移動端末に表示されるインターフェースに入力コントロールを含まない場合、前記音声入力に対応する指示を実行するように前記移動端末を制御する。

選択可能に、前記制御モジュール６０３は、具体的に、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ前記音声入力に対応するテキストコンテンツが目標コンテンツである場合、前記音声入力に対応する指示を実行するように前記移動端末を制御する。

選択可能に、前記制御モジュール６０３は、具体的に、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ目標アイコンを目標領域に移動させるための第１入力が受信されると、前記音声入力に対応する指示を実行するように前記移動端末を制御する。ここで、前記目標アイコンは、前記移動端末に表示されるインターフェースに入力コントロールを含む場合に、前記移動端末のインターフェースに表示されるアイコンである。

本実施例において、前記移動端末は、音声入力を受信し、前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示し、前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御する。このように、前記移動端末は、移動端末に表示されるインターフェースが満たす条件に応じて、移動端末が受信した音声入力を処理することができ、ユーザの手動操作を必要とすることなく、受信した音声入力に対して対応の処理を行うことができ、ユーザが手動で音声モードを切り替える手間が省け、携帯性が向上する。

図７は、本開示の各実施例を実現する移動端末のハードウェア構造図である。図７に示すように、該移動端末７００は、ラジオ周波数ユニット７０１と、ネットワークモジュール７０２と、音声出力ユニット７０３と、入力ユニット７０４と、センサ７０５と、表示ユニット７０６と、ユーザ入力ユニット７０７と、インターフェースユニット７０８と、メモリ７０９と、プロセッサ７１０と、電源７１１などの構成要素を含むが、これらに限定されない。図７に示される移動端末の構造は、移動端末を限定するものではなく、移動端末は、図示されるよりも多い又は少ない構成要素、又は特定の構成要素の組み合わせ、又は異なる構成要素の配置を含むことができることを、当業者は理解可能である。本開示の一部実施例において、移動端末は、携帯電話、タブレットパソコン、ノートパソコン、パームトップパソコン、車載移動端末、ウェアラブルデバイス及び歩数計などを含むが、それらに限定されない。

ここで、プロセッサ７１０は、音声入力を受信し、前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示し、前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御する。

選択可能に、前記プロセッサ７１０によって実行される、前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示することは、前記移動端末に表示されるインターフェースに入力コントロールを含む場合、前記移動端末に表示されるインターフェース上の入力コントロール内に前記音声入力に対応するテキストコンテンツを表示することを含む。

選択可能に、前記プロセッサ７１０によって実行される、前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示することは、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ前記音声入力に対応するテキストコンテンツが目標コンテンツではない場合、前記移動端末に表示されるインターフェース上の入力コントロール内に前記音声入力に対応するテキストコンテンツを表示することを含む。

選択可能に、前記プロセッサ７１０によって実行される、前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示することは、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ目標アイコンを目標領域に移動させるための第１入力が受信されなかった場合、前記移動端末に表示されるインターフェース上の入力コントロール内に前記音声入力に対応するテキストコンテンツを表示することを含む。ここで、前記目標アイコンは、前記移動端末に表示されるインターフェースに入力コントロールを含む場合に、前記移動端末のインターフェースに表示されるアイコンである。

選択可能に、前記プロセッサ７１０によって実行される、前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することは、前記移動端末に表示されるインターフェースに入力コントロールを含まない場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することを含む。

選択可能に、前記プロセッサ７１０によって実行される、前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することは、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ前記音声入力に対応するテキストコンテンツが目標コンテンツである場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することを含む。

選択可能に、前記プロセッサ７１０によって実行される、前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することは、前記移動端末に表示されるインターフェースに入力コントロールを含み且つ目標アイコンを目標領域に移動させるための第１入力が受信されると、前記音声入力に対応する指示を実行するように前記移動端末を制御することを含む。ここで、前記目標アイコンは、前記移動端末に表示されるインターフェースに入力コントロールを含む場合に、前記移動端末のインターフェースに表示されるアイコンである。

本開示の一部実施例において、移動端末は、音声入力を受信し、前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示し、前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御する。このように、移動端末は、移動端末に表示されるインターフェースが満たす条件に応じて、移動端末が受信した音声入力を処理することができ、ユーザの手動操作を必要とすることなく、受信した音声入力に対して対応の処理を行うことができ、ユーザが手動で音声モードを切り替える手間が省け、携帯性が向上する。

なお、本開示の一部実施例において、ラジオ周波数ユニット７０１は、情報の送受信又は通話中で信号の送受信に用いられ、具体的に、基地局から下りデータを受信した後、プロセッサ７１０による処理に供し、また、上りデータを基地局に送信する。一般に、ラジオ周波数ユニット７０１は、アンテナ、少なくとも１つの増幅器、トランシーバ、結合器、低雑音増幅器、デュプレクサなどを含むが、それらに限定されない。また、ラジオ周波数ユニット７０１は、無線通信システムを介してネットワークや他の機器と通信を行うこともできる。

移動端末は、ネットワークモジュール７０２を介して、電子メールの送受信、ウェブページの閲覧、ストリーミングメディアへのアクセスを支援するなど、無線ブロードバンドインターネットアクセスをユーザに提供する。

音声出力ユニット７０３は、ラジオ周波数ユニット７０１やネットワークモジュール７０２が受信した音声データや、メモリ７０９に記憶された音声データを音声信号に変換して音声として出力することができる。また、音声出力ユニット７０３は、移動端末７００が実行する特定の機能に関する音声（例えば、呼出信号着信音、メッセージ着信音等）を出力してもよい。音声出力ユニット７０３は、スピーカ、ブザー及びレシーバなどを含む。

入力ユニット７０４は、音声や映像の信号を受信することに用いられる。入力ユニット７０４は、ビデオキャプチャモード又は画像キャプチャモードでカメラなどの画像キャプチャ装置によって取得された静止画又は動画の画像データを処理するグラフィックスプロセッサＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）７０４１と、マイク７０４２とを含む。処理された画像フレームは、表示ユニット７０６上に表示される。グラフィックスプロセッサ７０４１で処理された画像フレームは、メモリ７０９（又は他の記憶媒体）に記憶されるか、又はラジオ周波数ユニット７０１又はネットワークモジュール７０２を介して送信される。マイク７０４２は、音声を受信し、音声データに加工することができる。処理された音声データは、電話通話モードの場合、ラジオ周波数ユニット７０１を介して移動体通信基地局に送信可能な形式に変換して出力することができる。

移動端末７００は、光センサ、モーションセンサ及び他のセンサのような少なくとも１つのセンサ７０５を更に含む。具体的には、光センサは、周辺光センサ及び近接センサを含む。周辺光センサは、周辺光の明暗に応じて表示パネル７０６１の輝度を調節し、近接センサは、移動端末７００が耳に移動したときに表示パネル７０６１及び／又はバックライトを消灯する。モーションセンサの１種として、加速度計センサは、様々な方向（一般的には３軸）の加速度の大きさを検出でき、静止時は重力の大きさ及び方向を検出でき、移動端末姿勢の認識（例えば、縦横画面切替、関連ゲーム、磁力計姿勢キャリブレーション）、振動認識関連機能（例えば、歩数計、ストローク）などに用いることができる。センサ７０５は、指紋センサ、圧力センサ、虹彩センサ、分子センサ、ジャイロスコープ、気圧計、湿度計、温度計、赤外線センサなどを更に含むことができるが、ここでは枚挙しない。

表示ユニット７０６は、ユーザが入力した情報やユーザに提供した情報を表示するために用いられる。表示ユニット７０６は、液晶ディスプレイＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、有機発光ダイオードＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔ－ＥｍｉｔｔｉｎｇＤｉｏｄｅ）などからなる表示パネル７０６１を含んでもよい。

ユーザ入力ユニット７０７は、数字や文字情報の入力を受け付け、ユーザによる移動端末の設定や機能制御に関するキー信号の入力を行うことに用いられる。具体的に、ユーザ入力ユニット７０７は、タッチパネル７０７１と、その他の入力機器７０７２とを含む。タッチパネル７０７１は、タッチスクリーンとも呼ばれ、その上又は付近でのユーザのタッチ操作を取得可能である（例えばユーザが指やスタイラスなどの任意の適切な物体や付属部材を用いたタッチパネル７０７１の上又はタッチパネル７０７１の付近での操作）。タッチパネル７０７１は、タッチ検出装置とタッチコントローラの２つの部分を含む。ここで、タッチ検出装置は、ユーザのタッチ方位を検出し、タッチ操作による信号を検出してタッチコントローラに伝達する。タッチコントローラは、タッチ検出装置からのタッチ情報を受信し、それを接点座標に変換してプロセッサ７１０に送り、プロセッサ７１０からの命令を受信して実行する。なお、タッチパネル７０７１は、抵抗膜式、静電容量式、赤外線、表面弾性波など、種々の方式を用いて実現することができる。ユーザ入力ユニット７０７は、タッチパネル７０７１の他に、他の入力機器７０７２を含んでもよい。具体的に、他の入力機器７０７２は、物理的なキーボード、機能キー（例えば、音量調節キー、スイッチキーなど）、トラックボール、マウス、レバーを含むが、ここでは枚挙しない。

更に、タッチパネル７０７１は、表示パネル７０６１に重ねられる。タッチパネル７０７１は、その上又はその近くでタッチ操作を検出すると、プロセッサ７１０に送信して、タッチイベントのタイプを決定する。次いで、プロセッサ７１０は、タッチイベントのタイプに応じて、対応する視覚的出力を表示パネル７０６１に提供する。図７では、タッチパネル７０７１と表示パネル７０６１は、独立した２つの部品として移動端末の入出力機能を実現するが、実施例によっては、タッチパネル７０７１と表示パネル７０６１を一体化して移動端末の入出力機能を実現することもでき、具体的にここでは限定しない。

インターフェースユニット７０８は、外部装置と移動端末７００とを接続するためのインターフェースである。例えば、外部装置は、有線又は無線ヘッドホンポート、外部電源（又はバッテリ充電器）ポート、有線又は無線データポート、メモリカードポート、認識モジュールを有する装置を接続するためのポート、オーディオ入出力（Ｉ／Ｏ）ポート、ビデオＩ／Ｏポート、ヘッドホンポート等を含む。インターフェースユニット７０８は、外部装置から入力（例えば、データ情報、電力など）を受信し、受信した入力を移動端末７００内の１つ以上の要素に伝送するために使用されてもよく、又は移動端末７００と外部装置との間でデータを伝送するために使用されてもよい。

メモリ７０９は、ソフトウェアプログラム及び様々なデータを格納するために使用される。メモリ７０９は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーション（例えば、音声再生機能、画像再生機能など）などを格納することができるプログラム格納領域と、データ格納領域とを主に含んでもよい。データ格納領域は、音声データや電話帳など、携帯電話機の使用に応じて作成されたデータを記憶することができる。更に、メモリ７０９は、高速ランダムアクセスメモリを含んでもよく、少なくとも１つの磁気ディスク記憶装置、フラッシュメモリデバイス、又は他の揮発性固体記憶デバイスなどの不揮発性メモリを含んでもよい。

プロセッサ７１０は、移動端末の制御センタであり、各種インターフェースや回線を用いて移動端末全体の各部を接続し、メモリ７０９に格納されたソフトウェアプログラム及び／又はモジュールを実行、メモリ７０９に格納されたデータを呼び出して移動端末の各種機能及び処理データを実行し、移動端末全体の監視を行う。プロセッサ７１０は、１つ以上の処理ユニットを含んでもよい。選択可能に、プロセッサ７１０は、オペレーティングシステム、ユーザインターフェース及びアプリケーションなどを主に処理するアプリケーションプロセッサと、ワイヤレス通信を主に処理するモデムプロセッサとを統合することができる。上述のモデムプロセッサは、プロセッサ７１０に統合されなくてもよいことが理解される。

移動端末７００は、各構成要素に電力を供給するためのバッテリのような電源７１１を更に含んでもよい。選択可能に、電源７１１は、電源管理システムを介してプロセッサ７１０に論理的に接続されてもよく、電源管理システムを介して充電、放電、及び消費電力管理などを管理する機能を実現してもよい。

また、移動端末７００は、図示しない機能モジュールを更に含んでもよく、ここでの説明は省略する。

選択可能に、本開示の一部実施例は、プロセッサ７１０と、メモリ７０９と、メモリ７０９に格納されて前記プロセッサ７１０で動作可能なコンピュータプログラムを含む移動端末を更に提供し、該コンピュータプログラムがプロセッサ７１０によって実行されると、上記音声処理方法の実施例の各プロセスが実現され、且つ同じ技術効果を奏することもできるので、重複を避けるために、ここでは繰り返して記載しない。

本開示の一部実施例は、コンピュータプログラムが格納されているコンピュータ読み取り可能な記憶媒体を更に提供し、該コンピュータプログラムがプロセッサによって実行されると、上記音声処理方法の実施例の各プロセスが実現され、且つ同じ技術効果を奏することもできるので、重複を避けるために、ここでは繰り返して記載しない。ここで、前記コンピュータ読み取り可能な記憶媒体は、例えば、ＲＯＭ（Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、磁気ディスク又は光ディスクなどなどである。

なお、本明細書において、「含む」や「含有する」又はそれ以外のあらゆる変形用語は、非排他的に含むことを意味する。よって、一連の要素を含むプロセス、方法、モノ又は装置は、それらの要素を含むだけではなく、明確に列挙されていない他の要素を更に含み、又はこのようなプロセス、方法、モノ又は装置に固有の要素を更に含む。特に限定されない限り、「…を１つ含む」の表現によって限定される要素について、当該要素を含むプロセス、方法、モノ又は装置に他の同一要素の存在を除外しない。

以上の実施形態の記載から、上記実施例の方法が、ソフトウェアに必須の汎用ハードウェアプラットフォームの形態で実現され、もちろんハードウェアによっても実現されてもよく、多くの場合では前者がより好適な実施形態であることは、当業者にとって自明である。このような理解に基づき、本発明の技術手段の実質的又は従来技術に貢献した部分は、ソフトウェアプロダクトの形式で現れる。当該コンピュータソフトウェアプロダクトは、記憶媒体（例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、本開示の各実施例の方法を１台の移動端末機器（携帯電話、コンピュータ、サーバー、空調機又はネットワークデバイスなど）に実行させるいくつかの指示を含む。

以上の記載は、本開示の具体的な実施形態に過ぎない。しかし、本開示の保護範囲は、これに限定されない。当業者が本開示に開示されている技術範囲内に容易に想到できる変化又は差し替えは、いずれも本開示の保護範囲内に含まれるべきである。従って、本開示の保護範囲は、特許請求の範囲を基準とするべきである。

６００移動端末
６０１受信モジュール
６０２表示モジュール
６０３制御モジュール
７００移動端末
７０１ラジオ周波数ユニット
７０２ネットワークモジュール
７０３音声出力ユニット
７０４入力ユニット
７０５センサ
７０６表示ユニット
７０７ユーザ入力ユニット
７０８インターフェースユニット
７０９メモリ
７１０プロセッサ
７１１電源
７０４１グラフィックスプロセッサ
７０４２マイク
７０６１表示パネル
７０７１タッチパネル
７０７２入力機器

Claims

移動端末に応用される音声処理方法であって、
音声入力を受信することと、
前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示することと、
前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することとを含み、
前記の前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示することは、
前記移動端末に表示されるインターフェースに入力コントロールを含み且つ目標アイコンを目標領域に移動させるための第１入力が受信されなかった場合、前記移動端末に表示されるインターフェース上の入力コントロール内に前記音声入力に対応するテキストコンテンツを表示することを含み、
前記の前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することは、
前記移動端末に表示されるインターフェースに入力コントロールを含み且つ目標アイコンを目標領域に移動させるための第１入力が受信されると、前記音声入力に対応する指示を実行するように前記移動端末を制御することを含み、
前記目標アイコンは、前記移動端末に表示されるインターフェースに入力コントロールを含む場合に、前記移動端末のインターフェースに表示されるアイコンであり、
前記目標領域に、前記目標領域の位置又は音声入力モードの終了方法を指示するための文字を付け加えている、音声処理方法。
前記の前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示することは、
前記移動端末に表示されるインターフェースに入力コントロールを含む場合、前記移動端末に表示されるインターフェース上の入力コントロール内に前記音声入力に対応するテキストコンテンツを表示することを更に含む、請求項１に記載の音声処理方法。
前記の前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示することは、
前記移動端末に表示されるインターフェースに入力コントロールを含み且つ前記音声入力に対応するテキストコンテンツが目標コンテンツではない場合、前記移動端末に表示されるインターフェース上の入力コントロール内に前記音声入力に対応するテキストコンテンツを表示することを更に含む、請求項１に記載の音声処理方法。
前記の前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することは、
前記移動端末に表示されるインターフェースに入力コントロールを含まない場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することを更に含む、請求項１～３のいずれか１項に記載の音声処理方法。
前記の前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することは、
前記移動端末に表示されるインターフェースに入力コントロールを含み且つ前記音声入力に対応するテキストコンテンツが目標コンテンツである場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することを更に含む、請求項１又は３に記載の音声処理方法。
前記の前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御することは、
前記音声入力に対応するテキストコンテンツが第１目標コンテンツである場合、前記移動端末は、前記入力コントロール内のコンテンツについてヌルであるかを判断し、前記入力コントロール内のコンテンツがヌルでない場合のみ、前記第１目標コンテンツに対応する指示を実行する、請求項１に記載の音声処理方法。
移動端末であって、
音声入力を受信する受信モジュールと、
前記移動端末に表示されるインターフェースが第１所定条件を満たす場合、前記移動端末に表示されるインターフェースに前記音声入力に対応するテキストコンテンツを表示する表示モジュールと、
前記移動端末に表示されるインターフェースが第２所定条件を満たす場合、前記音声入力に対応する指示を実行するように前記移動端末を制御する制御モジュールとを含み、
前記表示モジュールは、具体的に、
前記移動端末に表示されるインターフェースに入力コントロールを含み且つ目標アイコンを目標領域に移動させるための第１入力が受信されなかった場合、前記移動端末に表示されるインターフェース上の入力コントロール内に前記音声入力に対応するテキストコンテンツを表示し、
前記移動端末に表示されるインターフェースに入力コントロールを含み且つ目標アイコンを目標領域に移動させるための第１入力が受信されると、前記音声入力に対応する指示を実行するように前記移動端末を制御し、
前記目標アイコンは、前記移動端末に表示されるインターフェースに入力コントロールを含む場合に、前記移動端末のインターフェースに表示されるアイコンであり、
前記目標領域に、前記目標領域の位置又は音声入力モードの終了方法を指示するための文字を付け加えている、
移動端末。
前記表示モジュールは、具体的に、
前記移動端末に表示されるインターフェースに入力コントロールを含む場合、前記移動端末に表示されるインターフェース上の入力コントロール内に前記音声入力に対応するテキストコンテンツを表示し、
又は
前記移動端末に表示されるインターフェースに入力コントロールを含み且つ前記音声入力に対応するテキストコンテンツが目標コンテンツではない場合、前記移動端末に表示されるインターフェース上の入力コントロール内に前記音声入力に対応するテキストコンテンツを表示する、請求項７に記載の移動端末。
前記制御モジュールは、具体的に、
前記移動端末に表示されるインターフェースに入力コントロールを含まない場合、前記音声入力に対応する指示を実行するように前記移動端末を制御する、請求項７又は８に記載の移動端末。
前記制御モジュールは、具体的に、
前記移動端末に表示されるインターフェースに入力コントロールを含み且つ前記音声入力に対応するテキストコンテンツが目標コンテンツである場合、前記音声入力に対応する指示を実行するように前記移動端末を制御する、請求項７又は８に記載の移動端末。
前記制御モジュールは、
前記音声入力に対応するテキストコンテンツが第１目標コンテンツである場合、前記移動端末は、前記入力コントロール内のコンテンツについてヌルであるかを判断し、前記入力コントロール内のコンテンツがヌルでない場合のみ、前記第１目標コンテンツに対応する指示を実行する、請求項７に記載の移動端末。
プロセッサと、メモリと、前記メモリに格納されて前記プロセッサで実行可能なコンピュータプログラムとを含む移動端末であって、
前記コンピュータプログラムが前記プロセッサによって実行されると、請求項１～６のいずれか１項に記載の音声処理方法のステップが実現される、移動端末。
コンピュータプログラムが格納されているコンピュータ読み取り可能な記憶媒体であって、
該コンピュータプログラムがプロセッサによって実行されると、請求項１～６のいずれか１項に記載の音声処理方法のステップが実現される、コンピュータ読み取り可能な記憶媒体。