WO2014185503A1

WO2014185503A1 - 電子機器、制御方法、及び記録媒体

Info

Publication number: WO2014185503A1
Application number: PCT/JP2014/062996
Authority: WO
Inventors: 友康 ▲高▼橋
Original assignee: 京セラ株式会社
Priority date: 2013-05-16
Filing date: 2014-05-15
Publication date: 2014-11-20

Abstract

　１つの態様において、電子機器（１）は、マイク（８）と、マイク（８）を介して入力される音声に基づく音声制御を実行するコントローラ（１０）とを有し、コントローラ（１０）は、音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、音声制御により終了させる。すなわち、電子機器（１）は、対話型のインタフェースを介する音声制御のみによって、アプリケーションの所定の入力フィールドに対する長文の入力開始及び入力終了を実現する。

Description

電子機器、制御方法、及び記録媒体

　本出願は、電子機器、制御方法、及び記録媒体に関する。

　タッチスクリーンを備えるタッチスクリーンデバイスが知られている。タッチスクリーンデバイスは、例えば、携帯電話、スマートフォン及びタブレットなどの電子機器を含むが、これらに限定されない。タッチスクリーンデバイスは、タッチスクリーンを介して指、ペン、又はスタイラスペンのジェスチャを検出する。タッチスクリーンデバイスは、検出したジェスチャに従って動作する。検出したジェスチャに従った動作の例は、例えば、特許文献１に記載されている。

　タッチスクリーンデバイスの基本的な動作は、デバイスに搭載されるＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）によって実現される。タッチスクリーンデバイスに搭載されるＯＳは、例えば、Ａｎｄｒｏｉｄ（登録商標）、ＢｌａｃｋＢｅｒｒｙ（登録商標）　ＯＳ、ｉＯＳ、Ｓｙｍｂｉａｎ（登録商標）　ＯＳ、及びＷｉｎｄｏｗｓ（登録商標）　Ｐｈｏｎｅを含むが、これらに限定されない。

　近年、上記電子機器の中に、ジェスチャによる操作だけでなく、音声入力により操作を可能にする対話型のインタフェースを備えるものが普及しはじめている。これらの電子機器は、音声により、例えば、アプリケーションの起動、インターネット検索などの操作を実現する。

国際公開第２００８／０８６３０２号

　しかしながら、対話型のインタフェースを備える電子機器において、対話型のインタフェースを介して、アプリケーションの起動、インターネット検索などの操作をするには、まだ改善の余地がある。

　１つの態様に係る電子機器は、マイクと、前記マイクを介して入力される音声に基づく音声制御を実行するコントローラとを有し、前記コントローラは、前記音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、前記音声制御により終了させる。

　１つの態様に係る制御方法は、マイクを有する電子機器を制御する制御方法であって、前記マイクを介して入力される音声に基づく音声制御を実行するステップと、前記音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、前記音声制御により終了させるステップとを含む。

　１つの態様に係る記録媒体は、マイクを有する電子機器に、前記マイクを介して入力される音声に基づく音声制御を実行するステップと、前記音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、前記音声制御により終了させるステップとを実行させる制御プログラムを有する。

　他の態様に係る電子機器は、マイクと、複数の項目に対応するデータを含む電話帳データを記憶するストレージと、前記マイクを介して音声で入力される文字列に対応するレコードを、前記電話帳データから抽出し、抽出したレコードに含まれる項目を報知するコントローラとを有する。

　他の態様に係る制御方法は、マイクを有する電子機器を制御する制御方法であって、複数の項目に対応するデータを含む電話帳データを記憶するストレージから、前記マイクを介して音声で入力される文字列に対応するレコードを抽出するステップと、抽出したレコードに含まれる項目を報知するステップとを含む。

　他の態様に係る記録媒体は、マイクを有する電子機器に、複数の項目に対応するデータを含む電話帳データを記憶するストレージから、前記マイクを介して音声で入力される文字列に対応するレコードを抽出するステップと、抽出したレコードに含まれる項目を報知するステップとを実行させる制御プログラムを有する。

図１は、実施形態１に係るスマートフォンのブロック図である。図２は、所定のキーワードの検出により、メールアプリケーションの本文のフィールドへの音声入力を終了する場合の処理の一例を示す図である。図３は、所定のキーワードの検出により、メールアプリケーションの本文のフィールドへの音声入力を終了する場合の処理の一例を示す図である。図４は、所定のキーワードの検出により、メールアプリケーションの本文のフィールドへの音声入力を終了する場合の処理の他の例を示す図である。図５は、所定のキーワードの検出により、メールアプリケーションの本文のフィールドへの音声入力を終了する場合の処理の他の例を示す図である。図６は、音声の入力回数が閾値以上である場合に、メールアプリケーションの本文のフィールドへの音声入力を終了する場合の処理の例を示す図である。図７は、音声の入力回数が閾値以上である場合に、メールアプリケーションの本文のフィールドへの音声入力を終了する場合の処理の例を示す図である。図８は、実施形態１に係るスマートフォンによる処理手順の一例を示すフローチャートである。図９は、実施形態１に係るスマートフォンによる処理手順の一例を示すフローチャートである。図１０は、実施形態２に係るスマートフォンのブロック図である。図１１は、電話帳データの一例を示す図である。図１２は、マイクを介して音声で入力される文字列に対応するレコードを、電話帳データから抽出し、抽出したレコードに含まれる項目を報知する処理の一例を示す図である。図１３は、マイクを介して音声で入力される文字列に対応するレコードを、電話帳データから抽出し、抽出したレコードに含まれる小項目を報知する処理の一例を示す図である。図１４は、マイクを介して音声で入力される文字列に対応するレコードを、電話帳データから抽出できない場合の処理の一例を示す図である。図１５は、実施形態２に係るスマートフォンの処理手順の一例を示すフローチャートである。

　本出願に係る電子機器、制御方法、及び記録媒体が有する制御プログラムを実施するための実施形態を、図面を参照しつつ詳細に説明する。以下では、電子機器の一例として、スマートフォンを取り上げて説明する。

（実施形態１）
　図１を参照しながら、実施形態に係るスマートフォン１の機能的な構成について説明する。図１は、実施形態に係るスマートフォンのブロック図である。以下の説明においては、同様の構成要素に同一の符号を付すことがあり、重複する説明を省略することがある。

　図１に示すように、スマートフォン１は、タッチスクリーンディスプレイ２と、ボタン３と、照度センサ４と、近接センサ５と、通信ユニット６と、レシーバ７と、マイク８と、ストレージ９と、コントローラ１０と、スピーカ１１と、カメラ１２と、姿勢検出ユニット１５と、バイブレータ１８とを備える。

　タッチスクリーンディスプレイ２は、ディスプレイ２Ａと、タッチスクリーン２Ｂとを有する。ディスプレイ２Ａ及びタッチスクリーン２Ｂは、例えば、重ねて配置されてもよいし、並べて配置されてもよいし、離して配置されてもよい。ディスプレイ２Ａとタッチスクリーン２Ｂとが重ねて配置される場合、例えば、ディスプレイ２Ａの１ないし複数の辺がタッチスクリーン２Ｂのいずれの辺とも沿っていなくてもよい。

　ディスプレイ２Ａは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）、又は無機ＥＬディスプレイ（ＩＥＬＤ：Ｉｎｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）等の表示デバイスを備える。ディスプレイ２Ａは、文字、画像、記号、及び図形等を表示する。ディスプレイ２Ａが表示する文字、画像、記号、及び図形等を含む画面には、ロック画面と呼ばれる画面、及びホーム画面と呼ばれる画面が含まれる。ホーム画面は、デスクトップ、待受画面、アイドル画面又は標準画面と呼ばれることもある。

　タッチスクリーン２Ｂは、タッチスクリーン２Ｂに対する指、ペン、又はスタイラスペン等の接触を検出する。タッチスクリーン２Ｂは、複数の指、ペン、又はスタイラスペン等（以下、単に「指」という）がタッチスクリーン２Ｂに接触した位置を検出することができる。タッチスクリーン２Ｂは、タッチスクリーン２Ｂ（タッチスクリーンディスプレイ２）に対する指の接触を、接触された場所のタッチスクリーンディスプレイ２上での位置とともに、コントローラ１０に通知する。

　タッチスクリーン２Ｂの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式（又は超音波方式）、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者はスマートフォン１を操作するために指を用いてタッチスクリーン２Ｂに接触するものと想定する。

　コントローラ１０（スマートフォン１）は、タッチスクリーン２Ｂにより検出された接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、及び接触が検出された回数の少なくとも１つに基づいて、ジェスチャの種別を判別する。ジェスチャは、指を用いて、タッチスクリーン２Ｂ（タッチスクリーンディスプレイ２）に対して行われる操作である。コントローラ１０（スマートフォン１）が、タッチスクリーン２Ｂを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるがこれらに限定されない。

　ボタン３は、利用者からの操作入力を受け付ける。ボタン３の数は、単数であっても、複数であってもよい。

　照度センサ４は、スマートフォン１の周囲光の照度を検出する。照度は、光の強さ、明るさ、又は輝度を示す。照度センサ４は、例えば、ディスプレイ２Ａの輝度の調整に用いられる。

　近接センサ５は、近隣の物体の存在を非接触で検出する。近接センサ５は、磁界の変化又は超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ５は、例えば、ディスプレイ２Ａが顔に近づけられたことを検出する。照度センサ４及び近接センサ５は、１つのセンサとして構成されていてもよい。照度センサ４は、近接センサとして用いられてもよい。

　通信ユニット６は、無線により通信する。通信ユニット６によってサポートされる無線通信規格には、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格と、近距離無線の通信規格がある。セルラーフォンの通信規格としては、例えば、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ　Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ　Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ　ｆｏｒ　Ｍｉｃｒｏｗａｖｅ　Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｍｏｂｉｌｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙ－ｐｈｏｎｅ　Ｓｙｓｔｅｍ）等がある。近距離無線の通信規格としては、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ　Ｐｅｒｓｏｎａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等がある。ＷＰＡＮの通信規格には、例えば、ＺｉｇＢｅｅ（登録商標）がある。通信ユニット６は、上述した通信規格の１つ又は複数をサポートしていてもよい。

　通信ユニット６は、ＧＰＳ衛星からの所定の周波数帯の電波信号を受信し、受信した電波信号の復調処理を行って、処理後の信号をコントローラ１０に送出する。スマートフォン１は、ＧＰＳ衛星との通信機能を通信ユニット６から分散させて、通信ユニット６から独立した個別の通信部を設けてもよい。

　レシーバ７は、音出力部である。レシーバ７は、コントローラ１０から送信される音信号を音として出力する。レシーバ７は、例えば、通話時に相手の声を出力するために用いられる。マイク８は、音入力部である。マイク８は、利用者の音声等を音信号へ変換してコントローラ１０へ送信する。

　ストレージ９は、プログラム及びデータを記憶する。ストレージ９は、コントローラ１０の処理結果を一時的に記憶する作業領域としても利用される。ストレージ９は、半導体記憶媒体、及び磁気記憶媒体等の任意の記憶媒体を含んでよい。ストレージ９は、複数の種類の記憶媒体を含んでよい。ストレージ９は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ９は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

　ストレージ９に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。フォアグランドで実行されるアプリケーションは、例えば、ディスプレイ２Ａに画面が表示される。制御プログラムには、例えば、ＯＳが含まれる。アプリケーション及び制御プログラムは、通信ユニット６による無線通信又は非一過的な記憶媒体を介してストレージ９にインストールされてもよい。

　ストレージ９は、例えば、制御プログラム９Ａ、通話アプリケーション９Ｂ、ＳＭＳアプリケーション９Ｃ、Ｅメールアプリケーション９Ｄ、メモ帳アプリケーション９Ｅ、動画アプリケーション９Ｆ、ブラウザアプリケーション９Ｇ、電話帳データ９Ｙ及び設定データ９Ｚなどを記憶する。

　制御プログラム９Ａは、スマートフォン１を稼働させるための各種制御に関する機能を提供する。制御プログラム９Ａは、マイク８を介して入力される音声に基づく音声制御を実行する対話型のインタフェース機能を提供する。対話型のインタフェース機能には、対話型のインタフェース機能の実行中であることを示す実行画面をディスプレイ２Ａに表示させる機能が含まれる。対話型のインタフェース機能には、マイク８により入力される音声を認識し、認識結果に応じて音声及び文字などで応答する機能が含まれる。

　制御プログラム９Ａは、ユーザにより入力される音声を認識し、認識結果に基づいて処理を実行する機能を提供する。この機能には、音声の認識に成功した場合に、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを自動的に実行する機能が含まれる。

　制御プログラム９Ａは、ユーザにより入力される音声を認識し、認識結果に基づいて処理を実行できない場合に、ストレージ９に記憶されているアプリケーションの一覧を表示する機能を提供する。認識結果に基づいて処理を実行できない場合としては、例えば、音声の認識に失敗した場合、あるいは、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを検出できないと判定した場合が含まれる。

　制御プログラム９Ａは、対話型のインタフェース機能を介した音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、音声制御により終了させるための機能を提供する。具体的には、制御プログラム９Ａは、対話型インタフェースを介して音声入力される所定のキーワードを検出した場合、あるいは対話型インタフェースを介した音声の入力回数が閾値以上であると判定した場合に、音声制御により選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を終了するための機能を提供する。

　例えば、制御プログラム９Ａは、対話型インタフェースを介してＥメールアプリケーション９Ｄが選択されている場合、Ｅメールアプリケーション９Ｄに関する音声制御をコントローラ１０に開始させる。本実施形態において、Ｅメールアプリケーション９Ｄ及びメモ帳アプリケーション９Ｅが音声制御を実行すべきアプリケーションとして予め登録されているものとする。本実施形態において、Ｅメールアプリケーション９Ｄに関する音声制御とは、Ｅメールアプリケーション９Ｄの本文のフィールドに対して挿入する文字列に対応する音声として複数回の音声入力を可能とする一方で、所定のキーワードの検出あるいは音声の入力回数により音声入力を終了させる制御に該当する。続いて、制御プログラム９Ａは、所定のキーワードが検出されるまでの間、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入すべき文字列として、音声入力される文字列をストレージ９の記憶領域に保存する処理をコントローラ１０に実現させる。制御プログラム９Ａは、所定のキーワードが入力されると、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入する文字列の音声入力を終了する処理をコントローラ１０に実現させる。あるいは、制御プログラム９Ａは、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入すべき文字列に対応する音声の入力を開始してから音声の入力回数が閾値以上となるまでの間、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入すべき文字列として、音声入力される文字列をストレージ９の記憶領域に保存する処理をコントローラ１０に実現させる。制御プログラム９Ａは、音声の入力回数が閾値以上となると、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入する文字列の音声入力を終了する処理をコントローラ１０に実現させる。

　制御プログラム９Ａは、音声制御により音声入力を終了すると、音声制御により選択されたアプリケーションを起動し、起動したアプリケーションの入力フィールドに音声入力された文字列を挿入するための機能を提供する。

　例えば、制御プログラム９Ａは、対話型インタフェースを介してＥメールアプリケーション９Ｄが選択されている場合、上記音声制御により音声入力を終了すると、Ｅメールアプリケーション９Ｄを起動し、起動したＥメールアプリケーション９Ｄの本文に、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入すべき文字列としてストレージ９に保存しておいた文字列を挿入する。

　その他、制御プログラム９Ａは、通信ユニット６などを制御することによって、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ　Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ　Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ　ｆｏｒ　Ｍｉｃｒｏｗａｖｅ　Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｍｏｂｉｌｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙ－ｐｈｏｎｅ　Ｓｙｓｔｅｍ）などを用いた通信を実現させるための機能を提供する。

　制御プログラム９Ａは、通信ユニット６などを制御することによって、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ　Ｐｅｒｓｏｎａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等を用いた近距離無線通信を実現させるための機能を提供する。

　制御プログラム９Ａは、例えば、通信ユニット６及びマイク８などを制御することによって、通話を実現させるための機能を提供する。

　制御プログラム９Ａにより提供される機能は、通話を実現させる場合、通話アプリケーション９Ｂ又はＥメールアプリケーション９Ｄなど、ストレージ９に記憶される他のプログラムなどが提供する機能と組み合わせて利用されることがある。例えば、制御プログラム９Ａにより提供される上記対話型のインタフェース機能と、制御プログラム９Ａにより提供される他の機能とは、組み合わせて利用されることがある。制御プログラム９Ａにより提供される各機能は、複数のプログラムモジュールに分割されていてもよいし、他のプログラムと結合されていてもよい。例えば、制御プログラム９Ａにより提供される対話型のインタフェース機能は、他のモジュールに分割されていてもよい。

　通話アプリケーション９Ｂは、通話を実現するための機能を提供する。ＳＭＳアプリケーション９Ｃは、ＳＭＳ（Ｓｈｏｒｔ　Ｍｅｓｓａｇｅ　Ｓｅｒｖｉｃｅ）として、所定の文字数以内のメールを送受信するための機能を提供する。Ｅメールアプリケーション９Ｄは、電子メールの作成、送信、受信、及び表示等のための電子メール機能を提供する。メモ帳アプリケーション９Ｅは、テキストデータを作成及び管理するためのテキストエディタ機能を提供する。動画アプリケーション９Ｆは、動画の再生などを行うための機能を提供する。ブラウザアプリケーション９Ｇは、ブラウジング機能を提供する。ストレージ９に記憶されるアプリケーションは一例に過ぎない。図１に示すもの以外に、ナビゲートアプリケーション、音楽プレイヤーアプリケーション、計算機アプリケーション、付箋アプリケーションなど、複数のアプリケーションが記憶されていてもよい。

　電話帳データ９Ｙは、電話番号、メールアドレスなどの情報を含む。設定データ９Ｚは、スマートフォン１の動作に関連する各種の設定及び処理に関する情報を含む。例えば、設定データ９Ｚには、音声制御を終了するための閾値の情報が含まれる。その他、ストレージ９には、コントローラ１０による処理により、マイク８を介して音声入力される文字列のデータが保存される。

　コントローラ１０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）、及びＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を含むが、これらに限定されない。コントローラ１０は、スマートフォン１の動作を統括的に制御して各種の機能を実現する。

　具体的には、コントローラ１０は、ストレージ９に記憶されているデータを必要に応じて参照しつつ、ストレージ９に記憶されているプログラムに含まれる命令を実行する。コントローラ１０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ２Ａ、通信ユニット６、レシーバ７、マイク８、及びスピーカ１１を含むが、これらに限定されない。コントローラ１０は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、ボタン３、照度センサ４、近接センサ５、マイク８、カメラ１２、姿勢検出ユニット１５、及びタッチスクリーン２Ｂを含むが、これらに限定されない。

　コントローラ１０は、制御プログラム９Ａを実行することにより、対話型のインタフェースによる処理を実現する。例えば、コントローラ１０は、対話型のインタフェース機能の実行中であることを示す実行画面をディスプレイ２Ａに表示させる。例えば、コントローラ１０は、マイク８により入力される音声を認識し、認識結果に応じて音声及び文字などで応答する。

　コントローラ１０は、制御プログラム９Ａを実行することにより、ユーザにより入力される音声を認識し、認識結果に基づく処理を実現する。例えば、コントローラ１０は、音声の認識に成功した場合に、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを自動的に起動する。

　コントローラ１０は、制御プログラム９Ａを実行することにより、ユーザにより入力される音声を認識し、認識結果に基づいて処理を実行できない場合に、ストレージ９に記憶されているアプリケーションの一覧を表示する処理を実現する。認識結果に基づいて処理を実行できない場合としては、例えば、音声の認識に失敗した場合、または、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを検出できないと判定した場合が含まれる。

　コントローラ１０は、制御プログラム９Ａを実行することにより、対話型のインタフェース機能を介した音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、音声制御により終了させる処理を実現する。具体的には、コントローラ１０は、対話型インタフェースを介して音声入力される所定のキーワードを検出した場合、あるいは対話型インタフェースを介した音声の入力回数が閾値以上であると判定した場合に、音声制御により選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を終了する。

　例えば、コントローラ１０は、対話型インタフェースを介してＥメールアプリケーション９Ｄが選択されている場合、Ｅメールアプリケーション９Ｄに関する音声制御を開始する。本実施形態において、Ｅメールアプリケーション９Ｄ及びメモ帳アプリケーション９Ｅが音声制御を実行すべきアプリケーションとして予め登録されているものとする。本実施形態において、例えば、Ｅメールアプリケーション９Ｄに関する音声制御とは、Ｅメールアプリケーション９Ｄの本文のフィールドに対して挿入する文字列に対応する音声として複数回の音声入力を可能とする一方で、所定のキーワードの検出あるいは音声の入力回数により音声入力を終了させる制御に該当する。続いて、コントローラ１０は、所定のキーワードが検出されるまでの間、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入すべき文字列として、音声入力される文字列をストレージ９の記憶領域に保存する。コントローラ１０は、所定のキーワードが入力されると、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入する文字列の音声入力を終了する。あるいは、コントローラ１０は、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入すべき文字列に対応する音声の入力を開始してから音声の入力回数が閾値以上となるまでの間、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入すべき文字列として、音声入力される文字列をストレージ９の記憶領域に保存する。コントローラ１０は、音声の入力回数が閾値以上となると、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入する文字列の音声入力を終了する。

　コントローラ１０は、制御プログラム９Ａを実行することにより、音声制御により音声入力を終了すると、音声制御により選択されたアプリケーションを起動し、起動したアプリケーションの入力フィールドに音声入力された文字列を挿入するための機能を提供する。

　例えば、コントローラ１０は、対話型インタフェースを介してＥメールアプリケーション９Ｄが選択されている場合、上記音声制御により音声入力を終了すると、Ｅメールアプリケーション９Ｄを起動し、起動したＥメールアプリケーション９Ｄの本文に、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入すべき文字列としてストレージ９に保存しておいた文字列を挿入する。

　スピーカ１１は、音出力部である。スピーカ１１は、コントローラ１０から送信される音信号を音として出力する。スピーカ１１は、例えば、着信音及び音楽を出力するために用いられる。レシーバ７及びスピーカ１１の一方が、他方の機能を兼ねてもよい。

　カメラ１２は、撮影した画像を電気信号へ変換する。カメラ１２には、例えば、ディスプレイ２Ａに面している物体を撮影するインカメラ、ディスプレイ２Ａの反対側の面に面している物体を撮影するアウトカメラが含まれる。

　姿勢検出ユニット１５は、スマートフォン１の姿勢を検出する。姿勢検出ユニット１５は、姿勢を検出するために、加速度センサ、方位センサ、及びジャイロスコープの少なくとも１つを備える。

　バイブレータ１８は、スマートフォン１の一部又は全体を振動させる。バイブレータ１８は、振動を発生させるために、例えば、圧電素子、又は偏心モータなどを有する。バイブレータ１８による振動は、着信等の各種のイベントを利用者に報知するために用いられる。

　図１に示したスマートフォン１の機能構成は例であり、本発明の要旨を損なわない範囲において適宜変更してよい。

　図２～図７を用いて、実施形態におけるスマートフォン１により実行される処理の一例について説明する。図２～図７に登場するＦ１は、ユーザの指を示す。図２～図７では、いわゆるロック画面がディスプレイ２Ａに表示されている場合の処理の一例について説明するが、対話型のインタフェースを起動可能な状況であれば、同様の処理を実現できる。以下の説明において、“操作”と表記するものは、スマートフォン１（コントローラ１０）が、タッチスクリーン２Ｂを介して、検出可能な任意のタッチジェスチャであってよい。

　図２及び図３は、所定のキーワードの検出により、メールアプリケーション（例えば、Ｅメールアプリケーション９Ｄなど）の本文のフィールドへの音声入力を終了する場合の処理の一例を示す図である。

　図２に示すように、スマートフォン１は、ディスプレイ２Ａにロック画面４０を表示している。ロック画面４０は、スマートフォン１がロック状態にある場合に表示される。スマートフォン１は、ディスプレイ２Ａにロック画面４０が表示されている場合、特定の操作を除いて、ユーザの操作を受け付けない。特定の操作には、例えば、ロック状態を解除するための操作、及び通知画面をディスプレイ２Ａに表示させるための操作が含まれる。ロック状態には、単に、ユーザの操作を受け付けない状態だけでなく、セキュリティロック状態を含んでもよい。図２に示すように、ロック画面４０には、対話型のインタフェースを起動させるためのアイコン４０ａが配置されている。

　図２に示すように、スマートフォン１は、タッチスクリーン２Ｂを介して、ロック画面４０に配置されているアイコン４０ａに対する操作を検出すると（ステップＳ１１）、ディスプレイ２Ａに対話型のインタフェースの実行画面５０を表示する（ステップＳ１２）。このとき、スマートフォン１は、ステップＳ１２に示すように、“ご用件をお話下さい。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－１）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果に対応するアプリケーションがあるかを判定し、認識結果に対応するアプリケーションがある場合には、アプリケーションに関する音声制御を実行するかを判定する。スマートフォン１は、アプリケーションに関する音声制御を実行する場合には、ユーザに応答するとともに、アプリケーションに関する音声制御を開始する（ステップＳ１３～ステップＳ１４）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“特許一郎さんにメール”であると認識すると、ステップＳ１３に示すように、認識した文字列に対応する吹き出しの画像（Ｕ－１）を実行画面５０に表示する。続いて、スマートフォン１は、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するＥメールアプリケーション９Ｄを検出し、Ｅメールアプリケーション９Ｄに関する音声制御を実行するものと判定する。続いて、スマートフォン１は、ステップＳ１４に示すように、Ｅメールアプリケーション９Ｄの音声制御を開始し、その旨をユーザに報知するための画像５０ａを実行画面５０に表示する。スマートフォン１は、ステップＳ１４に示すように、“件名を教えてください。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－２）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果を保存するとともに、ユーザに応答する（ステップＳ１５～ステップＳ１６）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“おはようございます。”であると認識すると、ステップＳ１５に示すように、認識した文字列に対応する吹き出しの画像（Ｕ－２）を実行画面５０に表示する。続いて、スマートフォン１は、認識した文字列を保存し、件名が未入力であった画像５０ａの件名に対応するフィールドに、認識した文字列が挿入された画像５０ｂを表示する（ステップＳ１６）。メールの件名を取得後、ステップＳ１６に示すように、スマートフォン１は、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－３）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードではないこと、あるいは音声の入力回数が閾値に到達していないことを条件として、認識結果を保存するとともに、ユーザに応答する（ステップＳ１７～ステップＳ１８）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“８時集合です。”であると認識すると、ステップＳ１７に示すように、認識した文字列に対応する吹き出しの画像（Ｕ－３）を実行画面５０に表示する。続いて、スマートフォン１は、認識した文字列を保存し、本文が未入力であった画像５０ｂの本文に対応するフィールドに、認識した文字列が挿入された画像５０ｃを表示する（ステップＳ１８）。メールの本文に挿入する文字列を取得後、ステップＳ１８に示すように、スマートフォン１は、再び、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－４）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードではないこと、あるいは音声の入力回数が閾値に到達していないことを条件として、認識結果を保存するとともに、ユーザに応答する（ステップＳ１９～ステップＳ２０）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“みなさん、集合しました。”であると認識すると、ステップＳ１９に示すように、認識した文字列に対応する吹き出しの画像（Ｕ－４）を実行画面５０に表示する。続いて、スマートフォン１は、認識した文字列を保存し、画像５０ｃの本文に対応するフィールドに、認識した文字列が挿入された画像５０ｄを表示する（ステップＳ２０）。メールの本文に挿入する文字列を再取得後、ステップＳ２０に示すように、スマートフォン１は、再び、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－５）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードであること、あるいは音声の入力回数が閾値以上であることを条件として、音声入力を終了し、アプリケーションを起動する（ステップＳ２１～ステップＳ２２）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を、音声入力を終了させるキーワードである“完了”であると認識すると、ステップＳ２１に示すように、認識した文字列に対応する吹き出しの画像を表示しない。続いて、スマートフォン１は、音声入力の終了を受け付けた旨をユーザに報知することを目的として“メールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－６）を実行画面５０に表示する。スマートフォン１は、ステップＳ２２に示すように、Ｅメールアプリケーション９Ｄを起動して、宛先、件名、及び本文のそれぞれに対応する文字列を挿入したメール作成画面６０Ａをディスプレイ２Ａに表示する。

　図４及び図５は、所定のキーワードの検出により、メールアプリケーション（例えば、Ｅメールアプリケーション９Ｄ）の本文のフィールドへの音声入力を終了する場合の処理の他の例を示す図である。

　図４に示すように、スマートフォン１は、タッチスクリーン２Ｂを介して、ロック画面４０に配置されているアイコン４０ａに対する操作を検出すると（ステップＳ３１）、ディスプレイ２Ａに対話型のインタフェースの実行画面５０を表示する（ステップＳ３２）。このとき、スマートフォン１は、ステップＳ３２に示すように、“ご用件をお話下さい。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－１１）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果に対応するアプリケーションがあるかを判定し、認識結果に対応するアプリケーションがある場合には、アプリケーションに関する音声制御を実行するかを判定する。スマートフォン１は、アプリケーションに関する音声制御を実行する場合には、ユーザに応答するとともに、アプリケーションに関する音声制御を開始する（ステップＳ３３～ステップＳ３４）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“特許一郎さんにメール”であると認識すると、ステップＳ３３に示すように、認識した文字列に対応する吹き出しの画像（Ｕ－１１）を実行画面５０に表示する。続いて、スマートフォン１は、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するＥメールアプリケーション９Ｄを検出し、Ｅメールアプリケーション９Ｄに関する音声制御を実行するものと判定する。続いて、スマートフォン１は、ステップＳ３４に示すように、Ｅメールアプリケーション９Ｄの音声制御を開始し、その旨をユーザに報知するための画像５０ａを実行画面５０に表示する。スマートフォン１は、ステップＳ３４に示すように、“件名を教えてください。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－１２）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果を保存するとともに、ユーザに応答する（ステップＳ３５～ステップＳ３６）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“おはようございます。”であると認識すると、ステップＳ３５に示すように、認識した文字列に対応する吹き出しの画像（Ｕ－１２）を実行画面５０に表示する。続いて、スマートフォン１は、認識した文字列を保存し、件名が未入力であった画像５０ａの件名に対応するフィールドに、認識した文字列が挿入された画像５０ｂを表示する（ステップＳ３６）。メールの件名を取得後、ステップＳ３６に示すように、スマートフォン１は、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－１３）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードではないこと、あるいは音声の入力回数が閾値に到達していないことを条件として、認識結果を保存するとともに、ユーザに応答する（ステップＳ３７～ステップＳ３８）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“８時集合です。”であると認識すると、ステップＳ３７に示すように、認識した文字列に対応する吹き出しの画像（Ｕ－１３）を実行画面５０に表示する。続いて、スマートフォン１は、認識した文字列を保存し、本文が未入力であった画像５０ｂの本文に対応するフィールドに、認識した文字列が挿入された画像５０ｃを表示する（ステップＳ３８）。メールの本文に挿入する文字列を取得後、ステップＳ３８に示すように、スマートフォン１は、再び、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－１４）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードではないこと、あるいは音声の入力回数が閾値に到達していないことを条件として、認識結果を保存するとともに、ユーザに応答する（ステップＳ３９～ステップＳ４０）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“管理。”であると認識すると、ステップＳ３９に示すように、認識した文字列に対応する吹き出しの画像（Ｕ－１４）を実行画面５０に表示する。ステップＳ３９において、例えば、ユーザが“完了”と音声入力したつもりであっても、スマートフォン１が“管理”と認識した場合には、そのまま処理が継続される。続いて、スマートフォン１は、認識した文字列を保存し、画像５０ｃの本文に対応するフィールドに、認識した文字列が挿入された画像５０ｄを表示する（ステップＳ４０）。ステップＳ３９でスマートフォン１により認識され、ステップＳ４０で新たに表示された文字列は、音声入力によって削除することができない。メールの本文に挿入する文字列を再取得後、ステップＳ４０に示すように、スマートフォン１は、再び、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－１５）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードであること、あるいは音声の入力回数が閾値以上であることを条件として、音声入力を終了し、アプリケーションを起動する（ステップＳ４１～ステップＳ４２）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を、音声入力を終了させるキーワードである“完了”であると認識すると、認識した文字列に対応する吹き出しの画像を表示しない。続いて、スマートフォン１は、ステップＳ４１に示すように、音声入力の終了を受け付けた旨をユーザに報知することを目的として“メールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－１６）を実行画面５０に表示する。スマートフォン１は、ステップＳ４２に示すように、Ｅメールアプリケーション９Ｄを起動して、宛先、件名、及び本文のそれぞれに対応する文字列を挿入したメール作成画面６０Ａをディスプレイ２Ａに表示する。

　ステップＳ３９に示すように、ユーザにより音声入力された文字列が終了キーワードとしてスマートフォン１により正しく認識されなかった場合であっても、ステップＳ４２に示すように、ユーザにより音声入力された文字列が終了キーワードとしてスマートフォン１により正しく認識されたタイミングで、Ｅメールアプリケーション９Ｄの本文への音声入力が確実に終了する。

　図６及び図７は、音声の入力回数が閾値以上である場合に、メールアプリケーション（例えば、Ｅメールアプリケーション９Ｄ）の本文のフィールドへの音声入力を終了する場合の処理の例を示す図である。

　図６に示すように、スマートフォン１は、タッチスクリーン２Ｂを介して、ロック画面４０に配置されているアイコン４０ａに対する操作を検出すると（ステップＳ５１）、ディスプレイ２Ａに対話型のインタフェースの実行画面５０を表示する（ステップＳ５２）。このとき、スマートフォン１は、ステップＳ５２に示すように、“ご用件をお話下さい。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－２１）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果に対応するアプリケーションがあるかを判定し、認識結果に対応するアプリケーションがある場合には、アプリケーションに関する音声制御を実行するかを判定する。スマートフォン１は、アプリケーションに関する音声制御を実行する場合には、ユーザに応答するとともに、アプリケーションに関する音声制御を開始する（ステップＳ５３～ステップＳ５４）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“特許一郎さんにメール”であると認識すると、ステップＳ５３に示すように、認識した文字列に対応する吹き出しの画像（Ｕ－２１）を実行画面５０に表示する。続いて、スマートフォン１は、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するＥメールアプリケーション９Ｄを検出し、Ｅメールアプリケーション９Ｄに関する音声制御を実行するものと判定する。続いて、スマートフォン１は、ステップＳ５４に示すように、Ｅメールアプリケーション９Ｄの音声制御を開始し、その旨をユーザに報知するための画像５０ａを実行画面５０に表示する。スマートフォン１は、ステップＳ５４に示すように、“件名を教えてください。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－２２）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果を保存するとともに、ユーザに応答する（ステップＳ５５～ステップＳ５６）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“おはようございます。”であると認識すると、ステップＳ５５に示すように、認識した文字列に対応する吹き出しの画像（Ｕ－２２）を実行画面５０に表示する。続いて、スマートフォン１は、認識した文字列を保存し、件名が未入力であった画像５０ａの件名に対応するフィールドに、認識した文字列が挿入された画像５０ｂを表示する（ステップＳ５６）。メールの件名を取得後、ステップＳ５６に示すように、スマートフォン１は、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－２３）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードではないこと、あるいは音声の入力回数が閾値に到達していないことを条件として、認識結果を保存するとともに、ユーザに応答する（ステップＳ５７～ステップＳ５８）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“８時集合です。”であると認識すると、ステップＳ５７に示すように、認識した文字列に対応する吹き出しの画像（Ｕ－２３）を実行画面５０に表示する。続いて、スマートフォン１は、認識した文字列を保存し、本文が未入力であった画像５０ｂの本文に対応するフィールドに、認識した文字列が挿入された画像５０ｃを表示する（ステップＳ５８）。メールの本文に挿入する文字列を取得後、ステップＳ５８に示すように、スマートフォン１は、再び、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－２４）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードではないこと、あるいは音声の入力回数が閾値に到達していないことを条件として、認識結果を保存するとともに、ユーザに応答する（ステップＳ５９～ステップＳ６０）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“管理。”であると認識すると、ステップＳ５９に示すように、認識した文字列に対応する吹き出しの画像（Ｕ－２４）を実行画面５０に表示する。ステップＳ５９において、例えば、ユーザが“完了”と音声入力したつもりであっても、スマートフォン１が“管理”と認識した場合には、そのまま処理が継続される。続いて、スマートフォン１は、認識した文字列を保存し、画像５０ｃの本文に対応するフィールドに、認識した文字列が挿入された画像５０ｄを表示する（ステップＳ６０）。メールの本文に挿入する文字列を再取得後、ステップＳ６０に示すように、スマートフォン１は、再び、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－２５）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードではないこと、あるいは音声の入力回数が閾値に到達していないことを条件として、認識結果を保存するとともに、ユーザに応答する（ステップＳ６１～ステップＳ６２）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“管理。”であると認識すると、ステップＳ６１に示すように、認識した文字列に対応する吹き出しの画像（Ｕ－２５）を実行画面５０に表示する。ステップＳ６１において、例えば、ユーザが“完了”と音声入力したつもりであっても、スマートフォン１が“管理”と認識した場合には、そのまま処理が継続される。続いて、スマートフォン１は、認識した文字列を保存し、画像５０ｄの本文に対応するフィールドに、認識した文字列が挿入された画像５０ｅを表示する（ステップＳ６２）。メールの本文に挿入する文字列を再取得後、ステップＳ６２に示すように、スマートフォン１は、再び、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－２６）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードではないこと、あるいは音声の入力回数が閾値に到達していないことを条件として、認識結果を保存するとともに、ユーザに応答する（ステップＳ６３～ステップＳ６４）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“管理。”であると認識すると、ステップＳ６３に示すように、認識した文字列に対応する吹き出しの画像（Ｕ－２６）を実行画面５０に表示する。ステップＳ６３において、例えば、ユーザが“完了”と音声入力したつもりであっても、スマートフォン１が“管理”と認識した場合には、そのまま処理が継続される。続いて、スマートフォン１は、認識した文字列を保存し、画像５０ｅの本文に対応するフィールドに、認識した文字列が挿入された画像５０ｆを表示する（ステップＳ６４）。メールの本文に挿入する文字列を再取得後、ステップＳ６４に示すように、スマートフォン１は、再び、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－２７）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードであること、あるいは音声の入力回数が閾値以上であることを条件として、音声入力を終了し、アプリケーションを起動する（ステップＳ６５～ステップＳ６６）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“管理”であると認識し、該当する文字列に対応した音声の入力により、音声の（累積）入力回数が閾値以上であると判定した場合には、認識した文字列に対応する吹き出しの画像を表示しない。続いて、スマートフォン１は、ステップＳ６５に示すように、音声入力の終了を受け付けた旨をユーザに報知することを目的として“メールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ－２８）を実行画面５０に表示する。スマートフォン１は、ステップＳ６６に示すように、Ｅメールアプリケーション９Ｄを起動して、宛先、件名、及び本文のそれぞれに対応する文字列を挿入したメール作成画面６０Ａをディスプレイ２Ａに表示する。ステップＳ６６に示すように、ステップＳ５９～ステップＳ６３におけるスマートフォン１の認識結果が誤りである場合であっても、認識結果に対応する各文字列（管理。）がメール作成画面６０Ａに挿入される。

　ステップＳ５９～ステップＳ６３に示すように、ユーザにより音声入力された文字列が終了キーワードとしてスマートフォン１により何度も正しく認識されない場合であっても、ステップＳ６６に示すように、ユーザによる音声の入力回数が閾値以上となったタイミングで、Ｅメールアプリケーション９Ｄの本文への音声入力が確実に終了する。

　図８及び図９を用いて、実施形態に係るスマートフォン１による処理手順の一例を説明する。図８及び図９は、実施形態に係るスマートフォン１による処理手順の一例を示すフローチャートである。図８及び図９に示す処理手順は、コントローラ１０が、ストレージ９に記憶されている制御プログラム９Ａなどを実行することによって実現される。

　図８は、スマートフォン１により実行される音声制御の全体の流れを示す。図８に示すように、コントローラ１０は、対話型のインタフェースの実行画面をディスプレイ２Ａに表示させる（ステップＳ１０１）。コントローラ１０は、例えば、タッチスクリーン２Ｂを介して、対話型のインタフェースを起動させるためのアイコン４０ａに対する操作を検出すると、対話型のインタフェースを起動し、インタフェースの実行画面５０をディスプレイ２Ａに表示させる（図２、４参照）。

　続いて、コントローラ１０は、マイク８により入力される音声の音声データを取得すると（ステップＳ１０２）、音声データの認識処理を実行し、音声の認識に成功したかを判定する（ステップＳ１０３）。

　コントローラ１０は、判定の結果、音声の認識に成功した場合には（ステップＳ１０３，Ｙｅｓ）、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを検出できたかを判定する（ステップＳ１０４）。

　コントローラ１０は、判定の結果、認識結果に対応するアプリケーションを検出できた場合には（ステップＳ１０４，Ｙｅｓ）、認識結果に対応するアプリケーションに関する音声制御を実行するかを判定する（ステップＳ１０５）。

　コントローラ１０は、判定の結果、認識結果に対応するアプリケーションに関する音声制御を実行する場合には（ステップＳ１０５，Ｙｅｓ）、認識結果に対応するアプリケーションに関する音声制御を開始する（ステップＳ１０６）。

　アプリケーションに関する音声制御を終了すると、コントローラ１０は、ステップＳ１０４で検出したアプリケーションを起動し、当該アプリケーションに対して、ステップＳ１０６における音声制御の結果を反映して（ステップＳ１０７）、図８に示す処理手順を終了する。例えば、コントローラ１０は、Ｅメールアプリケーション９Ｄを起動し、対話型インタフェースを介して音声入力された件名及び本文の文字列のデータを、Ｅメールアプリケーション９Ｄにおける対応するフィールドへ挿入する。

　ステップＳ１０５において、コントローラ１０は、認識結果に対応するアプリケーションに関する音声制御を実行しない場合には（ステップＳ１０５，Ｎｏ）、ステップＳ１０４で検出したアプリケーションを実行して（ステップＳ１０８）、図８に示す処理手順を終了する。

　ステップＳ１０４において、コントローラ１０は、判定の結果、認識結果に対応するアプリケーションを検出できない場合には（ステップＳ１０４，Ｎｏ）、そのまま図８に示す処理手順を終了する。このとき、コントローラ１０は、ストレージ９に記憶されているアプリケーションの一覧をディスプレイ２Ａに表示してもよい。

　ステップＳ１０３において、コントローラ１０は、判定の結果、音声の認識に失敗した場合には（ステップＳ１０３，Ｎｏ）、認識に失敗した回数が閾値を超えているかを判定する（ステップＳ１０９）。コントローラ１０は、判定の結果、認識に失敗した回数が閾値を超えている場合には（ステップＳ１０９，Ｙｅｓ）、そのまま図８に示す処理手順を終了する。これとは反対に、コントローラ１０は、判定の結果、認識に失敗した回数が閾値を超えていない場合には（ステップＳ１０９，Ｎｏ）、例えば、音声ガイダンス及び画像などにより、音声の再入力を要求し（ステップＳ１１０）、ステップＳ１０２の手順に移る。

　図９は、アプリケーションに関する音声制御の流れを示す。図９は、図８に示すステップＳ１０６の手順に対応する。図９に示すように、コントローラ１０は、上記図８のステップＳ１０５で音声制御を実行することを決定したアプリケーションに関して、音声の入力を要求し（ステップＳ２０１）、音声データを取得する（ステップＳ２０２）。例えば、コントローラ１０は、Ｅメールアプリケーション９Ｄの本文に対応するフィールドに入力する文字列の音声入力を要求し、本文に入力する文字列に対応する音声を取得する。

　続いて、コントローラ１０は、ステップＳ２０１の要求に応じて音声入力された音声データの認識処理を実行し、音声の認識に成功したかを判定する（ステップＳ２０３）。

　コントローラ１０は、判定の結果、音声の認識に成功した場合には（ステップＳ２０３，Ｙｅｓ）、認識結果に対応する音声が、音声入力の終了キーワードであるかを判定する（ステップＳ２０４）。コントローラ１０は、例えば、認識結果に対応する音声が、“完了”であるかを判定する。

　コントローラ１０は、判定の結果、音声入力の終了キーワードではない場合には（ステップＳ２０４，Ｎｏ）、続いて、図９に示す処理手順を開始してからの音声の（累積）入力回数が閾値以上であるかを判定する（ステップＳ２０５）。

　コントローラ１０は、判定の結果、音声の入力回数が閾値以上ではない場合には（ステプＳ２０５，Ｎｏ）、図８の処理で検出したアプリケーションの入力フィールドに挿入する文字列のデータとして、ステップＳ２０２で取得した音声データを蓄積する（ステップＳ２０６）。例えば、コントローラ１０は、Ｅメールアプリケーション９Ｄの本文に対応するフィールドに入力する文字列のデータとして、ステップＳ２０２で取得した音声データを蓄積する。

　続いて、コントローラ１０は、ステップＳ２０１の手順に戻り、図９に示す制御を継続する。

　ステップＳ２０５において、コントローラ１０は、判定の結果、図９に示す処理手順を開始してからの音声の（累積）入力回数が閾値以上である場合には（ステップＳ２０５，Ｙｅｓ）、図９に示す処理手順を終了する。

　ステップＳ２０４において、コントローラ１０は、認識結果に対応する音声が、音声入力の終了キーワードである場合には（ステップＳ２０４，Ｙｅｓ）、図９に示す処理手順を終了する。

　ステップＳ２０３において、コントローラ１０は、判定の結果、音声の認識に成功しなかった場合には（ステップＳ２０３，Ｎｏ）、当該音声の入力を無効として、ステップＳ２０１の手順に戻り、音声の再入力を要求する。

　処理手順の順番は、図９に示す例に限定されず、例えば、ステップＳ２０４の手順と、ステップＳ２０５の手順の順序が逆であってもよい。

　上述してきたように、実施形態に係るスマートフォン１は、対話型インタフェースを介して音声により選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、音声制御により終了させる。例えば、スマートフォン１は、Ｅメールアプリケーション９Ｄの本文に対応するフィールドに挿入する文字列の音声入力を、“完了”という終了キーワードを検出することにより終了することができる。あるいは、スマートフォン１は、Ｅメールアプリケーション９Ｄの本文に対応するフィールドに挿入する文字列の音声入力を、音声の入力回数が閾値（例えば、５回）以上となった場合に終了することができる。このように、本実施形態に係るスマートフォン１は、例えば、メールの本文など、比較的長めの文字列が入力される入力フィールドに対して複数回の音声入力を可能とする一方で、所定のキーワードの検出あるいは音声の入力回数により音声入力を終了させることを可能とする。すなわち、本実施形態に係るスマートフォン１は、対話型のインタフェースを介する音声制御のみによって、アプリケーションの所定の入力フィールドに対する長文の入力開始及び入力終了を実現でき、対話型のインタフェースを介する処理を改善することができる。

　上記実施形態では、スマートフォン１が、音声の入力回数が５回と判定した場合に、Ｅメールアプリケーション９Ｄの本文に対応するフィールドに挿入する文字列の音声入力を終了させる例（図６及び図７）を説明したが、音声入力を終了させる回数は任意の回数を適用することができる。

　上記実施形態では、スマートフォン１が、対話型インタフェースを介した音声制御により、Ｅメールアプリケーション９Ｄの本文に対応するフィールドに挿入する文字列の音声入力を終了させる例を説明した。しかしながら、これに限定されるものではなく、メモ帳アプリケーション９Ｅに対する文字列の音声入力、スケジュールを管理するアプリケーションに対する文字列の音声入力などを行うアプリケーション全般に対して、上記実施形態に係るスマートフォン１の処理（図２～図９など）を適用できる。

　図５及び図７に示す例では、音声入力に対するスマートフォン１の認識結果がユーザの意図しないものである場合（誤りである場合）であっても、認識結果に対応する文字列（例えば、管理）がメール作成画面６０Ａに挿入される場合を説明した。しかしながら、これに限定されるものではなく、スマートフォン１は、音声入力された文字列の中に同音同義の文字列が複数連続する場合には、誤認識に係る文字列と判断して、アプリケーションを起動する際に、アプリケーションの入力フィールドに挿入しないようにしてもよい。あるいは、スマートフォン１は、終了キーワード（例えば、完了）に類似する文字列の一覧を予め備えておいて、音声入力された文字列の中に終了キーワードに類似する文字列がある場合には、アプリケーションを起動する際に、当該文字列をアプリケーションの入力フィールドに挿入しないようにしてもよい。

　上記実施形態１において、スマートフォン１は、音声入力に対する認識結果が、終了キーワードと同音異義（例えば、官僚など）であると判定した場合、音声入力を終了させるようにしてもよい。

　添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記の実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。

　例えば、図１に示した各プログラムは、複数のモジュールに分割されていてもよい。あるいは、図１に示した各プログラムは、他のプログラムと結合されていてもよい。

　上記の実施形態１では、タッチスクリーンを備える装置の一例として、スマートフォンについて説明したが、添付の請求項に係る装置は、スマートフォンに限定されず、スマートフォン以外の電子機器であってもよい。電子機器は、例えば、モバイルフォン、タブレット、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、及びゲーム機である。あるいは、添付の請求項に係る装置は、据え置き型の電子機器であってもよい。据え置き型の電子機器は、例えば、デスクトップパソコン、及びテレビ受像器である。

（実施形態２）
　図１０を参照しながら、実施形態２に係るスマートフォン１の機能的な構成について説明する。図１０は、実施形態２に係るスマートフォン１のブロック図である。以下の説明においては、同様の構成要素に同一の符号を付すことがあり、重複する説明を省略することがある。

　図１０に示すように、スマートフォン１は、タッチスクリーンディスプレイ２と、ボタン３と、照度センサ４と、近接センサ５と、通信ユニット６と、レシーバ７と、マイク８と、ストレージ９と、コントローラ１０と、スピーカ１１と、カメラ１２と、姿勢検出ユニット１５と、バイブレータ１８とを備える。

　通信ユニット６は、ＧＰＳ衛星からの所定の周波数帯の電波信号を受信し、受信した電波信号を復調処理して、処理後の信号をコントローラ１０に送出する。スマートフォン１は、ＧＰＳ衛星との通信機能を通信ユニット６から分散させて、通信ユニット６から独立した個別の通信部を設けてもよい。

　制御プログラム９Ａは、スマートフォン１を稼働させるための各種制御に関する機能を提供する。制御プログラム９Ａは、対話型のインタフェース機能を提供する。対話型のインタフェース機能には、対話型のインタフェース機能の実行中であることを示す実行画面をディスプレイ２Ａに表示させる機能が含まれる。対話型のインタフェース機能には、マイク８により入力される音声を認識し、認識結果に応じて音声及び文字などで応答する機能が含まれる。

　制御プログラム９Ａは、ユーザにより入力される音声を認識し、認識結果に基づいて処理を実行できない場合に、ストレージ９に記憶されているアプリケーションの一覧を表示する機能を提供する。認識結果に基づいて処理を実行できない場合には、例えば、音声の認識に失敗した場合、あるいは、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを検出できないと判定した場合が含まれる。

　制御プログラム９Ａは、マイク８を介して音声で入力される文字列に対応するレコードを、電話帳データ９Ｙから抽出し、抽出したレコードに含まれる項目を報知するための機能を提供する。この機能に関連して、制御プログラム９Ａには、上記レコードに含まれる項目に属する複数の小項目がある場合には、当該小項目を報知する機能が含まれる。この機能に関連して、制御プログラム９Ａには、自機（スマートフォン１）を通じて上記レコードの対象に接触を図るために用いられる項目又は小項目を報知する機能が含まれる。自機を通じて上記レコードの対象に接触を図るために用いられる項目には、電話番号、メールアドレス、ＵＲＬなどが含まれる。項目は、ストレージ９に記憶されている種々のアプリケーションに対応付けられている。自機を通じて上記レコードの対象に接触を図るために用いられる小項目には、自宅、携帯、会社などの項目が含まれる。小項目は、当該小項目が属する項目が対応付けられているアプリケーションに対応付けられている。

　通話アプリケーション９Ｂは、通話を実現するための機能を提供する。ＳＭＳアプリケーション９Ｃは、ＳＭＳ（Ｓｈｏｒｔ　Ｍｅｓｓａｇｅ　Ｓｅｒｖｉｃｅ）として、所定の文字数以内のメールを送受信するための機能を提供する。Ｅメールアプリケーション９Ｄは、電子メールの作成、送信、受信、及び表示等のための電子メール機能を提供する。メモ帳アプリケーション９Ｅは、テキストデータを作成及び管理するためのテキストエディタ機能を提供する。動画アプリケーション９Ｆは、動画の再生などを行うための機能を提供する。ブラウザアプリケーション９Ｇは、ブラウジング機能を提供する。ストレージ９に記憶されるアプリケーションは一例に過ぎない。図１０に示すもの以外に、ナビゲートアプリケーション、音楽プレイヤーアプリケーション、計算機アプリケーション、付箋アプリケーションなど、複数のアプリケーションが記憶されていてもよい。

　電話帳データ９Ｙは、電話番号、メールアドレスなどの情報を含む。図１１は、電話帳データ９Ｙの一例を示す図である。図１１に示すように、電話帳データ９Ｙは、「名前」、「電話番号」、「メールアドレス」、「誕生日」などの項目が含まれる。「電話番号」及び「メールアドレス」の項目には、「自宅」、「会社」、「携帯」の３つの小項目がそれぞれ属している。電話帳データ９Ｙは、「名前」、「電話番号」、「メールアドレス」、「誕生日」などの項目、及び「自宅」、「会社」、「携帯」の小項目に対応するデータを相互に関連付けて構成されている。例えば、図１１に示すように、「名前」の項目に対応するデータ“特許一郎”には、「電話番号」の項目に属する小項目「自宅」に対応するデータ“ａａ－ｂｂｂｂ－ｃｃｃｃ”と、同じく「電話番号」の項目に属する小項目「会社」に対応するデータ“ｄｄ－ｅｅｅｅ－ｆｆｆｆ”と、同じく「電話番号」の項目に属する小項目「携帯」に対応するデータ“０Ａ０－ＢＢＢＢ－ＣＣＣＣ”とが関連付けられている。さらに、図１１に示すように、「名前」の項目に対応するデータ“特許一郎”には、「メールアドレス」の項目に属する小項目「自宅」に対応するデータ“ＯＮＥ＠ｊｉｔａｋｕ．ｃｏｍ”と、同じく「メールアドレス」の項目に属する小項目「会社」に対応するデータ“ＯＮＥ＠ｋａｉｓｙａ．ｃｏｍ”と、同じく「メールアドレス」の項目に属する小項目「携帯」に対応するデータ“ＯＮＥ＠ｋｅｉｔａｉ．ｃｏｍ”とが関連付けられる。

　設定データ９Ｚは、スマートフォン１の動作に関連する各種の設定及び処理に関する情報を含む。

　具体的には、コントローラ１０は、ストレージ９に記憶されているデータを必要に応じて参照しつつ、ストレージ９に記憶されているプログラムに含まれる命令を実行する。コントローラ１０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ２Ａ、通信ユニット６、マイク８、及びスピーカ１１を含むが、これらに限定されない。コントローラ１０は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン２Ｂ、ボタン３、照度センサ４、近接センサ５、マイク８、カメラ１２、及び姿勢検出ユニット１５を含むが、これらに限定されない。

　コントローラ１０は、制御プログラム９Ａを実行することにより、ユーザにより入力される音声を認識するものである。この認識結果に基づいて処理を実行できない場合には、ストレージ９に記憶されているアプリケーションの一覧を表示する処理を実現する。認識結果に基づいて処理を実行できない場合としては、例えば、音声の認識に失敗した場合、または、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを検出できないと判定した場合が含まれる。

　コントローラ１０は、制御プログラム９Ａを実行することにより、マイク８を介して音声で入力される文字列に対応するレコードを、電話帳データ９Ｙから抽出し、抽出したレコードに含まれる項目を報知する処理を実現する。コントローラ１０は、抽出したレコードに含まれる項目に属する小項目がある場合には、小項目を報知する処理を実現する。コントローラ１０は、自機（スマートフォン１）を通じて上記レコードの対象に接触を図るために用いられる項目又は小項目を報知する処理を実現する。

　図１０に示したスマートフォン１の機能構成は例であり、本発明の要旨を損なわない範囲において適宜変更してよい。

　図１２～図１４を用いて、実施形態におけるスマートフォン１により実行される処理の一例について説明する。図１２～図１４に登場するＦ１は、ユーザの指を示す。図１２～図１４では、いわゆるロック画面がディスプレイ２Ａに表示されている場合の処理の一例について説明するが、対話型のインタフェースを起動可能な状況であれば、同様の処理を実現できる。以下の説明において、“操作”と表記するものは、スマートフォン１（コントローラ１０）が、タッチスクリーン２Ｂを介して、検出可能な任意のタッチジェスチャであってよい。

　図１２は、マイク８を介して音声で入力される文字列に対応するレコードを、電話帳データ９Ｙから抽出し、抽出したレコードに含まれる項目を報知する処理の一例を示す図である。図１２に示すように、スマートフォン１は、ディスプレイ２Ａにロック画面４０を表示している。ロック画面４０は、スマートフォン１がロック状態にある場合に表示される。スマートフォン１は、ディスプレイ２Ａにロック画面４０が表示されている場合、特定の操作を除いて、ユーザの操作を受け付けない。特定の操作には、例えば、ロック状態を解除するための操作、及び通知画面をディスプレイ２Ａに表示させるための操作が含まれる。ロック状態には、単に、ユーザの操作を受け付けない状態だけでなく、セキュリティロック状態を含んでもよい。図１２に示すように、ロック画面４０には、対話型のインタフェースを起動させるためのアイコン４０ａが配置されている。

　図１２に示すように、スマートフォン１は、タッチスクリーン２Ｂを介して、ロック画面４０に配置されているアイコン４０ａに対する操作を検出すると（ステップＳ７１）、ディスプレイ２Ａに対話型のインタフェースの実行画面５０を表示する（ステップＳ７２）。このとき、スマートフォン１は、ステップＳ１２に示すように、“ご用件をお話下さい。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｏ－１）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、ユーザに応答するとともに、マイク８を介して入力される文字列に対応するレコードを、ストレージ９に記憶されている電話帳データ９Ｙの中から抽出し、抽出したレコードに含まれる項目を報知する（ステップＳ７３～ステップＳ７４）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“特許一郎”であると認識すると、ステップＳ７３に示すように、認識した文字列に対応する吹き出しの画像（Ｉ－１）を実行画面５０に表示する。続いて、スマートフォン１は、電話帳データ９Ｙに含まれる「名前」の項目に記憶されているデータの中から、特許一郎を検索する。続いて、スマートフォン１は、特許一郎を検出すると、特許一郎に対応するレコードを抽出する。例えば、抽出されるレコードには、「電話番号」、「メールアドレス」、「誕生日」などの項目と、「電話番号」及び「メールアドレス」に属する「自宅」、「会社」、「携帯」の小項目と、各項目に対応するデータとが含まれる。続いて、スマートフォン１は、抽出したレコードに含まれる項目の中から、自機（スマートフォン１）を通じてレコードの対象である特許一郎との接触を図るために用いられる項目である「電話番号」及び「メールアドレス」を音声及び画像により報知する。例えば、スマートフォン１は、ステップＳ７４に示すように、“電話帳に電話番号、メールアドレスが登録されています。何をしますか？”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｏ－２）を実行画面５０に表示する。さらに、スマートフォン１は、ユーザの行動を促すための音声及び画像による補助的な報知を行う。例えば、スマートフォン１は、ステップＳ７４に示すように、“マイクに近づいてお話下さい。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｏ－３）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、ユーザに応答するとともに、認識結果に対応するアプリケーションを自動的に起動し、アプリケーションの画面をディスプレイ２Ａに表示する（ステップＳ７５～ステップＳ７７）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“携帯に電話”であると認識すると、ステップＳ７５に示すように、認識した文字列に対応する吹き出しの画像（Ｉ－２）を実行画面５０に表示する。続いて、スマートフォン１は、特許一郎に対応するレコードの中に携帯の電話番号のデータが含まれるかを判定する。判定の結果、携帯の電話番号が含まれる場合には、スマートフォン１は、ステップＳ７６に示すように、“携帯に電話します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｏ－４）を実行画面５０に表示する。一方、スマートフォン１は、特許一郎に対応するレコードの中に携帯の電話番号のデータが含まれていない場合、携帯の電話番号が含まれていない旨の音声ガイダンスを出力してもよい。あるいは、スマートフォン１は、携帯の電話番号が含まれていない旨の音声ガイダンスに加えて、その他の指示を要求する音声ガイダンスを出力してもよい。続いて、スマートフォン１は、ステップＳ７７に示すように、通話アプリケーション９Ｂを実行して、特許一郎の携帯の電話番号に対して発信するとともに、通話アプリケーション９Ｂの画面７０をディスプレイ２Ａに表示する。

　図１２に示す例では、スマートフォン１は、マイク８を介して音声で入力される文字列を“特許一郎”であると認識すると、特許一郎に対応するレコードを抽出する。そして、スマートフォン１は、抽出したレコードに含まれる項目の中から、自機（スマートフォン１）を通じてレコードの対象である特許一郎との接触を図るために用いられる項目である「電話番号」及び「メールアドレス」を音声及び画像により報知する。例えば、スマートフォン１は、“電話帳に電話番号、メールアドレスが登録されています。何をしますか？”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像を実行画面５０に表示する。このようなことから、スマートフォン１は、対話型のインタフェースを介して、ユーザの音声入力の内容に対応する具体的な情報を提供することができる。スマートフォン１では、提供された具体的な情報に基づいてユーザが希望する動作を判断することができる。このようにして、スマートフォン１では、対話型のインタフェースを介する処理を改善することができる。

　図１２に示す例では、スマートフォン１は、抽出したレコードに含まれる項目の中から、自機（スマートフォン１）を通じてレコードの対象（特許一郎）に接触を図るために用いられる項目を報知する例を説明したが、これには限定されない。スマートフォン１は、抽出したレコードに含まれる項目をもれなく報知してもよい。スマートフォン１は、抽出した特許一郎に対応するレコードの中から、例えば、自機（スマートフォン１）を通じてレコードの対象に接触を図るために用いられる項目ではない「誕生日」についても報知してもよい。

　図１３は、マイク８を介して音声で入力される文字列に対応するレコードを、電話帳データ９Ｙから抽出し、抽出したレコードに含まれる小項目を報知する処理の一例を示す図である。

　図１３に示すように、スマートフォン１は、タッチスクリーン２Ｂを介して、ロック画面４０に配置されているアイコン４０ａに対する操作を検出すると（ステップＳ８１）、ディスプレイ２Ａに対話型のインタフェースの実行画面５０を表示する（ステップＳ８２）。このとき、スマートフォン１は、ステップＳ８２に示すように、“ご用件をお話下さい。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｏ－１）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、マイク８を介して入力される文字列に対応するレコードを、ストレージ９に記憶されている電話帳データ９Ｙの中から抽出し、抽出したレコードに含まれる項目を報知する（ステップＳ８３～ステップＳ８４）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“特許一郎”であると認識すると、ステップＳ８３に示すように、認識した文字列に対応する吹き出しの画像（Ｉ－１）を実行画面５０に表示する。続いて、スマートフォン１は、電話帳データ９Ｙに含まれる「名前」の項目に記憶されているデータの中から、特許一郎を検索する。続いて、スマートフォン１は、特許一郎を検出すると、特許一郎に対応するレコードを抽出する。例えば、抽出されるレコードには、「電話番号」、「メールアドレス」、「誕生日」などの項目と、「電話番号」及び「メールアドレス」に属する「自宅」、「会社」、「携帯」の小項目と、各項目に対応するデータとが含まれる。続いて、スマートフォン１は、抽出したレコードに含まれる項目の中から、自機（スマートフォン１）を通じてレコードの対象である特許一郎との接触を図るために用いられる項目である「電話番号」及び「メールアドレス」を特定し、特定した「電話番号」及び「メールアドレス」の項目に属する「自宅」、「会社」、「携帯」の小項目を音声及び画像により報知する。例えば、スマートフォン１は、ステップＳ８４に示すように、“電話帳に自宅・会社・携帯の電話番号、自宅・会社・携帯のメールアドレスが登録されています。何をしますか？”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｏ－５）を実行画面５０に表示する。さらに、スマートフォン１は、ユーザの行動を促すための音声及び画像による補助的な報知を行う。例えば、スマートフォン１は、ステップＳ８４に示すように、“マイクに近づいてお話下さい。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｏ－３）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、ユーザに応答するとともに、認識結果に対応するアプリケーションを自動的に起動し、アプリケーションの画面をディスプレイ２Ａに表示する（ステップＳ８５～ステップＳ８７）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“携帯にメール”であると認識すると、ステップＳ８５に示すように、認識した文字列に対応する吹き出しの画像（Ｉ－３）を実行画面５０に表示する。続いて、スマートフォン１は、ステップＳ８６に示すように、“メールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｏ－６）を実行画面５０に表示する。続いて、スマートフォン１は、ステップＳ８７に示すように、Ｅメールアプリケーション９Ｄを実行して、Ｅメールアプリケーション９Ｄの画面８０をディスプレイ２Ａに表示する。Ｅメールアプリケーション９Ｄを実行する際、スマートフォン１は、特許一郎の携帯のメールアドレスを宛先アドレスに予め挿入しておく。

　上記ステップＳ８５～ステップＳ８７において、スマートフォン１は、マイク８を介して音声で入力される文字列を、例えば“携帯にショートメール”であると認識した場合には、ＳＭＳアプリケーション９Ｃを実行して、ＳＭＳアプリケーション９Ｃの画面をディスプレイ２Ａに表示する。

　図１３に示す例では、スマートフォン１は、マイク８を介して音声で入力される文字列を“特許一郎”であると認識すると、特許一郎に対応するレコードを抽出する。そして、スマートフォン１は、抽出したレコードに含まれる項目の中から、自機（スマートフォン１）を通じてレコードの対象である特許一郎との接触を図るために用いられる項目である「電話番号」及び「メールアドレス」を特定し、さらには、特定した「電話番号」及び「メールアドレス」の項目に属する「自宅」、「会社」、「携帯」の小項目を音声及び画像により報知する。例えば、スマートフォン１は、“電話帳に自宅・会社・携帯の電話番号、自宅・会社・携帯のメールアドレスが登録されています。何をしますか？”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像を実行画面５０に表示する。このようなことから、スマートフォン１は、対話型のインタフェースを介して、ユーザの音声入力の内容に対応するより具体的な情報を提供することができる。スマートフォン１では、提供されたより具体的な情報に基づいてユーザが希望する動作を判断することができる。このようにして、スマートフォン１では、対話型のインタフェースを介する処理を改善することができる。

　図１４は、マイク８を介して音声で入力される文字列に対応するレコードを、電話帳データ９Ｙから抽出できない場合の処理の一例を示す図である。以下の説明において、“連携アプリケーション（連携アプリ）”と表記するものは、ストレージ９に記憶されているアプリケーションに該当し、対話型のインタフェースを介して実行することができる。

　図１４に示すように、スマートフォン１は、ロック画面４０をディスプレイ２Ａに表示している。スマートフォン１は、ロック画面４０に配置されているアイコン４０ａに対する操作を検出すると（ステップＳ９１）、ディスプレイ２Ａに対話型のインタフェースの実行画面５０を表示する（ステップＳ９２）。このとき、スマートフォン１は、ステップＳ９２に示すように、“ご用件をお話下さい。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｏ－１）を実行画面５０に表示する。

　続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、ユーザに応答するとともに、ストレージ９に記憶されている電話帳データ９Ｙの中から、マイク８を介して入力される文字列に対応するレコードを抽出できない場合には、連携アプリケーションの実行指示であるものと判断して処理を実行する（ステップＳ９３～ステップＳ９４）。

　具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“天気”であると認識すると、ステップＳ９３に示すように、認識した文字列に対応する吹き出しの画像（Ｉ－４）を実行画面５０に表示する。続いて、スマートフォン１は、電話帳データ９Ｙに含まれる「名前」の項目に記憶されているデータの中から、天気を検索する。天気を検出できなかった場合、スマートフォン１は、続いて、連携アプリケーションを検索する。連携アプリケーションも検出できなかった場合、スマートフォン１は、例えば、ステップＳ９４に示すように、“連携アプリが見つかりませんでした。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｏ－７）を実行画面５０に表示する。さらに、スマートフォン１は、例えば、ステップＳ９４に示すように、アプリケーションの一覧を実行画面５０に表示する。実行画面５０に表示されるアプリケーションの一覧には、ＳＭＳアプリケーション９Ｃに対応するアイコンＡ１、Ｅメールアプリケーション９Ｄに対応するアイコンＡ２、メモ帳アプリケーション９Ｅに対応するアイコンＡ３、動画アプリケーション９Ｆに対応するアイコンＡ４、及びブラウザアプリケーション９Ｇに対応するアイコンＡ５が表示される。

　続いて、スマートフォン１は、タッチスクリーン２Ｂを介して、例えば、メモ帳アプリケーション９Ｅに対応するアイコンＡ３に対する操作を検出すると、メモ帳アプリケーション９Ｅを起動し、メモ帳アプリケーション９Ｅの画面９０をディスプレイ２Ａに表示する（ステップＳ９５～ステップＳ９６）。

　図１５を用いて、実施形態に係るスマートフォン１による処理手順の一例を説明する。図１５は、実施形態に係るスマートフォンの処理手順の一例を示すフローチャートである。図１５に示す処理手順は、コントローラ１０が、ストレージ９に記憶されている制御プログラム９Ａなどを実行することによって実現される。

　図１５に示すように、コントローラ１０は、対話型のインタフェースの実行画面をディスプレイ２Ａに表示させる（ステップＳ３０１）。コントローラ１０は、例えば、タッチスクリーン２Ｂを介して、対話型のインタフェースを起動させるためのアイコン４０ａに対する操作を検出すると、対話型のインタフェースを起動し、インタフェースの実行画面５０をディスプレイ２Ａに表示させる（図１２、１３参照）。

　続いて、コントローラ１０は、マイク８により入力される音声の音声データを取得すると（ステップＳ３０２）、音声データの認識処理を実行し、音声の認識に成功したかを判定する（ステップＳ３０３）。

　コントローラ１０は、判定の結果、音声の認識に成功した場合には（ステップＳ３０３，Ｙｅｓ）、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを検出できたかを判定する（ステップＳ３０４）。

　コントローラ１０は、判定の結果、認識結果に対応するアプリケーションを検出できた場合には（ステップＳ３０４、Ｙｅｓ）、対応するアプリケーションを起動し（ステップＳ３０５）、図１５に示す処理手順を終了する。

　一方、コントローラ１０は、判定の結果、認識結果に対応するアプリケーションを検出できない場合には（ステップＳ３０４，Ｎｏ）、認識結果に対応する電話帳データがあるかを判定する（ステップＳ３０６）。すなわち、コントローラ１０は、認識結果に対応するデータが、電話帳データ９Ｙに含まれているかを検索する。

　コントローラ１０は、判定の結果、認識結果に対応する電話帳データがある場合には（ステップＳ３０６，Ｙｅｓ）、該当のレコードを抽出し、抽出したレコードに含まれる項目を報知する（ステップＳ３０７）。コントローラ１０は、抽出したレコードに含まれる項目を報知する際、例えば、自機（スマートフォン１）を通じてレコードの対象に接触を図るために用いられる項目（電話番号、メールアドレス、ＵＲＬなど）を報知する。コントローラ１０は、例えば、自機（スマートフォン１）を通じて上記レコードの対象に接触を図るために用いられる項目（電話番号、メールアドレス、ＵＲＬなど）に複数の小項目（自宅、携帯、会社など）が属する場合には、小項目をそれぞれ報知する。

　続いて、コントローラ１０は、動作指示の音声入力を要求して（ステップＳ３０８）、ステップＳ３０２の手順に戻り、再入力される音声データを取得する。

　ステップＳ３０６において、コントローラ１０は、判定の結果、認識結果に対応する電話帳データがない場合には（ステップＳ３０６，Ｎｏ）、音声の再入力を要求して（ステップＳ３０９）、ステップＳ３０２の手順に戻り、再入力される音声データを取得する。

　ステップＳ３０３において、コントローラ１０は、判定の結果、音声の認識に失敗した場合には（ステップＳ３０３，Ｎｏ）、失敗回数が閾値を超えているかを判定する（ステップＳ３１０）。

　コントローラ１０は、判定の結果、失敗回数が閾値を超えている場合には（ステップＳ３１０，Ｙｅｓ）、連携アプリケーションの一覧を実行画面５０に表示する（ステップＳ３１１）。続いて、コントローラ１０は、連携アプリケーションの一覧に対する操作に応じて、アプリケーションの処理を実行し（ステップＳ３１２）、図１５に示す処理手順を終了する。

　一方、コントローラ１０は、判定の結果、失敗回数が閾値を超えていない場合には（ステップＳ３１０，Ｎｏ）、ステップＳ３０９の手順に移り、音声の再入力を要求する。

　図１５に示す処理手順の順番は、図１５に示す例に限定されない。図１５に示す処理手順において、例えば、ステップＳ３０４の手順と、ステップＳ３０６の手順の順序が逆であってもよい。図１５に示す処理手順は、図１５に示す全ての処理手順を含んでいなくてもよい。例えば、ステップＳ３１０の手順を省略して、直接ステップＳ３１１の手順を実行してもよい。

　添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。

　例えば、図１０に示した制御プログラム９Ａ及び各アプリケーションは、複数のモジュールに分割されていてもよい。あるいは、図１０に示した制御プログラム９Ａは、他のプログラムと結合されていてもよい。

　上記実施形態２では、タッチスクリーンを備える装置の一例として、スマートフォンについて説明したが、添付の請求項に係る装置は、スマートフォンに限定されず、スマートフォン以外の電子機器であってもよい。電子機器は、例えば、モバイルフォン、タブレット、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、及びゲーム機である。あるいは、添付の請求項に係る装置は、据え置き型の電子機器であってもよい。据え置き型の電子機器は、例えば、デスクトップパソコン、及びテレビ受像器である。

　上記実施形態２の対話型のインタフェースでは、音声入力に対して音声ガイダンスおよびディスプレイ表示によって応答しているが、いずれか一方によって応答するインタフェースを採用してもよい。上記の実施形態２において、スマートフォン１は、レコードの対象に接触を図るための項目に属する小項目が１つのみの場合には、項目名に対応する音声入力によりアプリケーションを実行するようにしてもよい。例えば、スマートフォン１は、抽出したレコードの対象に接触を図るための項目である電話番号に対して、自宅、会社および携帯のうちのいずれか１つの小項目が属している場合には、「電話」という音声入力により通話アプリケーション９Ｂをそのまま実行する。

　上記実施形態２の対話型のインタフェースでは、音声入力によってアプリケーションを起動することができる。このスマートフォン１では、音声入力によって起動することになったアプリケーションが既に起動している場合、当該アプリケーションを実行する。上記実施形態２において、スマートフォン１（コントローラ１０）がプログラム（又は、アプリケーション）を起動する場合には、ストレージ９に記憶されているプログラムを新たに読み出してその処理を開始する場合と、既に読み出されているプログラムの処理を新たに開始する場合とが含まれる。上記実施形態２において、スマートフォン１（コントローラ１０）がプログラムを実行する場合としては、プログラムを起動する場合と、中断中のプログラムを再開する場合と、起動済のプログラムの処理を継続する場合とが含まれる。

１　スマートフォン
２　タッチスクリーンディスプレイ
２Ａ　ディスプレイ
２Ｂ　タッチスクリーン
３　ボタン
４　照度センサ
５　近接センサ
６　通信ユニット
７　レシーバ
８　マイク
９　ストレージ
９Ａ　制御プログラム
９Ｂ　通話アプリケーション
９Ｃ　ＳＭＳアプリケーション
９Ｄ　Ｅメールアプリケーション
９Ｅ　メモ帳アプリケーション
９Ｆ　動画アプリケーション
９Ｇ　ブラウザアプリケーション
９Ｙ　電話帳データ
９Ｚ　設定データ
１０　コントローラ
１１　スピーカ
１２　カメラ
１５　姿勢検出ユニット
１８　バイブレータ

Claims

　マイクと、
　前記マイクを介して入力される音声に基づく音声制御を実行するコントローラと
　を有し、
　前記コントローラは、前記音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、前記音声制御により終了させる電子機器。
　前記コントローラは、前記音声入力を終了すると、前記入力フィールドに前記文字列を挿入する請求項１に記載の電子機器。
　マイクを有する電子機器を制御する制御方法であって、
　前記マイクを介して入力される音声に基づく音声制御を実行するステップと、
　前記音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、前記音声制御により終了させるステップと
　を含む制御方法。
　マイクを有する電子機器に、
　前記マイクを介して入力される音声に基づく音声制御を実行するステップと、
　前記音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、前記音声制御により終了させるステップと
　を実行させる制御プログラムを有する記録媒体。
　マイクと、
　複数の項目に対応するデータを含む電話帳データを記憶するストレージと、
　前記マイクを介して音声で入力される文字列に対応するレコードを、前記電話帳データから抽出し、抽出したレコードに含まれる項目を報知するコントローラと
　を有する電子機器。
　前記コントローラは、自機を通じて前記レコードの対象に接触を図るために用いられる前記項目を報知する請求項５に記載の電子機器。
　前記コントローラは、前記項目に属する複数の小項目がある場合に、当該小項目を報知する請求項５に記載の電子機器。
　前記コントローラは、前記項目を報知した後に、報知した当該項目が前記マイクを介して音声で入力される文字列と一致すると、前記報知した項目を前記レコードに関する処理として受け付ける請求項５に記載の電子機器。
　マイクを有する電子機器を制御する制御方法であって、
　複数の項目に対応するデータを含む電話帳データを記憶するストレージから、前記マイクを介して音声で入力される文字列に対応するレコードを抽出するステップと、
　抽出したレコードに含まれる項目を報知するステップと
　を含む制御方法。
　マイクを有する電子機器に、
　複数の項目に対応するデータを含む電話帳データを記憶するストレージから、前記マイクを介して音声で入力される文字列に対応するレコードを抽出するステップと、
　抽出したレコードに含まれる項目を報知するステップと
　を実行させる制御プログラムを有する記録媒体。