JP6133564B2 - 電子機器、制御方法、及び制御プログラム - Google Patents

電子機器、制御方法、及び制御プログラム Download PDF

Info

Publication number
JP6133564B2
JP6133564B2 JP2012223541A JP2012223541A JP6133564B2 JP 6133564 B2 JP6133564 B2 JP 6133564B2 JP 2012223541 A JP2012223541 A JP 2012223541A JP 2012223541 A JP2012223541 A JP 2012223541A JP 6133564 B2 JP6133564 B2 JP 6133564B2
Authority
JP
Japan
Prior art keywords
application
controller
voice
smartphone
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012223541A
Other languages
English (en)
Other versions
JP2014075104A (ja
Inventor
大介 伊吹
大介 伊吹
敦夫 千葉
敦夫 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2012223541A priority Critical patent/JP6133564B2/ja
Priority to PCT/JP2013/077134 priority patent/WO2014054794A1/ja
Priority to US14/433,081 priority patent/US9734829B2/en
Publication of JP2014075104A publication Critical patent/JP2014075104A/ja
Application granted granted Critical
Publication of JP6133564B2 publication Critical patent/JP6133564B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Description

本出願は、電子機器、制御方法、及び制御プログラムに関する。
タッチスクリーンを備えるタッチスクリーンデバイスが知られている。タッチスクリーンデバイスは、例えば、携帯電話、スマートフォン及びタブレットなどの電子機器を含むが、これらに限定されない。タッチスクリーンデバイスは、タッチスクリーンを介して指、ペン、又はスタイラスペンのジェスチャを検出する。そして、タッチスクリーンデバイスは、検出したジェスチャに従って動作する。検出したジェスチャに従った動作の例は、例えば、特許文献１に記載されている。
タッチスクリーンデバイスの基本的な動作は、デバイスに搭載されるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）によって実現される。タッチスクリーンデバイスに搭載されるＯＳは、例えば、Ａｎｄｒｏｉｄ（登録商標）、ＢｌａｃｋＢｅｒｒｙ（登録商標） ＯＳ、ｉＯＳ、Ｓｙｍｂｉａｎ（登録商標） ＯＳ、及びＷｉｎｄｏｗｓ（登録商標） Ｐｈｏｎｅを含むが、これらに限定されない。
近年、上記電子機器の中に、ジェスチャによる操作だけでなく、音声入力により操作を可能にする対話型のインタフェースを備えるものが普及しはじめている。これらの電子機器は、音声により、例えば、アプリケーションの起動、インターネット検索などの操作を実現する。
国際公開第２００８／０８６３０２号
対話型のインタフェースを備える電子機器には、対話型のインタフェースを介する処理に改善の余地がある。
１つの態様に係る電子機器は、マイクと、前記マイクにより入力された音声の認識結果に基づいて処理を実行するコントローラとを有し、前記コントローラは、前記認識結果に基づいて処理を実行できない場合に、アプリケーションの一覧を表示する。
１つの態様に係る制御方法は、マイクを有する電子機器を制御する制御方法であって、前記マイクにより入力される音声を認識処理するステップと、前記認識処理の結果に基づいて処理を実行できない場合に、アプリケーションの一覧を表示するステップとを含む。
１つの態様に係る制御プログラムは、マイクを有する電子機器に、前記マイクにより入力される音声を認識処理するステップと、前記認識処理の結果に基づいて処理を実行できない場合に、アプリケーションの一覧を表示するステップとを実行させる。
図１は、実施形態に係るスマートフォンのブロック図である。 図２は、音声の認識に成功したときの処理の一例を示す図である。 図３は、音声の認識結果に対応するアプリケーションを検出できないと判定した場合の処理の一例を示す図である。 図４は、実施形態１に係るスマートフォンによる処理手順の一例を示す図である。 図５は、実施形態１に係るスマートフォンによる処理手順の他の例を示す図である。 図６は、実施形態２におけるスマートフォンにより実行される処理の一例を示す図である。 図７は、実施形態２におけるスマートフォンにより実行される処理の一例を示す図である。 図８は、実施形態２に係るスマートフォンによる処理手順の一例を示す図である。 図９は、実施形態２に係るスマートフォンによる処理手順の一例を示す図である。 図１０は、実施形態２に係るスマートフォンによる処理手順の一例を示す図である。
本出願に係る電子機器、制御方法、及び制御プログラムを実施するための実施形態を、図面を参照しつつ詳細に説明する。以下では、電子機器の一例として、スマートフォンを取り上げて説明する。
（実施形態１）
図１を参照しながら、実施形態に係るスマートフォン１の機能的な構成について説明する。図１は、実施形態に係るスマートフォンのブロック図である。以下の説明においては、同様の構成要素に同一の符号を付すことがある。さらに、重複する説明は省略することがある。
図１に示すように、スマートフォン１は、タッチスクリーンディスプレイ２と、ボタン３と、照度センサ４と、近接センサ５と、通信ユニット６と、レシーバ７と、マイク８と、ストレージ９と、コントローラ１０と、スピーカ１１と、カメラ１２と、姿勢検出ユニット１５と、バイブレータ１８とを備える。
タッチスクリーンディスプレイ２は、ディスプレイ２Ａと、タッチスクリーン２Ｂとを有する。ディスプレイ２Ａ及びタッチスクリーン２Ｂは、例えば、重ねて配置されてもよいし、並べて配置されてもよいし、離して配置されてもよい。ディスプレイ２Ａとタッチスクリーン２Ｂとが重ねて配置される場合、例えば、ディスプレイ２Ａの１ないし複数の辺がタッチスクリーン２Ｂのいずれの辺とも沿っていなくてもよい。
ディスプレイ２Ａは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）、又は無機ＥＬディスプレイ（ＩＥＬＤ：Ｉｎｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示デバイスを備える。ディスプレイ２Ａは、文字、画像、記号、及び図形等を表示する。ディスプレイ２Ａが表示する文字、画像、記号、及び図形等を含む画面には、ロック画面と呼ばれる画面、及びホーム画面と呼ばれる画面が含まれる。ホーム画面は、デスクトップ、待受画面、アイドル画面又は標準画面と呼ばれることもある。
タッチスクリーン２Ｂは、タッチスクリーン２Ｂに対する指、ペン、又はスタイラスペン等の接触を検出する。タッチスクリーン２Ｂは、複数の指、ペン、又はスタイラスペン等（以下、単に「指」という）がタッチスクリーン２Ｂに接触した位置を検出することができる。タッチスクリーン２Ｂは、タッチスクリーン２Ｂ（タッチスクリーンディスプレイ２）に対する指の接触を、接触された場所のタッチスクリーンディスプレイ２上での位置とともに、コントローラ１０に通知する。
タッチスクリーン２Ｂの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式（又は超音波方式）、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者はスマートフォン１を操作するために指を用いてタッチスクリーン２Ｂに接触するものと想定する。
コントローラ１０（スマートフォン１）は、タッチスクリーン２Ｂにより検出された接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、及び接触が検出された回数の少なくとも１つに基づいて、ジェスチャの種別を判別する。ジェスチャは、指を用いて、タッチスクリーン２Ｂ（タッチスクリーンディスプレイ２）に対して行われる操作である。コントローラ１０（スマートフォン１）が、タッチスクリーン２Ｂを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるがこれらに限定されない。
ボタン３は、利用者からの操作入力を受け付ける。ボタン３の数は、単数であっても、複数であってもよい。
照度センサ４は、スマートフォン１の周囲光の照度を検出する。照度は、光の強さ、明るさ、又は輝度を示す。照度センサ４は、例えば、ディスプレイ２Ａの輝度の調整に用いられる。
近接センサ５は、近隣の物体の存在を非接触で検出する。近接センサ５は、磁界の変化又は超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ５は、例えば、ディスプレイ２Ａが顔に近づけられたことを検出する。照度センサ４及び近接センサ５は、１つのセンサとして構成されていてもよい。照度センサ４は、近接センサとして用いられてもよい。
通信ユニット６は、無線により通信する。通信ユニット６によってサポートされる無線通信規格には、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格と、近距離無線の通信規格がある。セルラーフォンの通信規格としては、例えば、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）等がある。近距離無線の通信規格としては、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等がある。ＷＰＡＮの通信規格には、例えば、ＺｉｇＢｅｅ（登録商標）がある。通信ユニット６は、上述した通信規格の１つ又は複数をサポートしていてもよい。
通信ユニット６は、ＧＰＳ衛星からの所定の周波数帯の電波信号を受信し、受信した電波信号を復調処理して、処理後の信号をコントローラ１０に送出する。スマートフォン１は、ＧＰＳ衛星との通信機能を通信ユニット６から分散させて、通信ユニット６から独立した個別の通信部を設けてもよい。
レシーバ７は、音出力部である。レシーバ７は、コントローラ１０から送信される音信号を音として出力する。レシーバ７は、例えば、通話時に相手の声を出力するために用いられる。マイク８は、音入力部である。マイク８は、利用者の音声等を音信号へ変換してコントローラ１０へ送信する。
ストレージ９は、プログラム及びデータを記憶する。ストレージ９は、コントローラ１０の処理結果を一時的に記憶する作業領域としても利用される。ストレージ９は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。ストレージ９は、複数の種類の記憶媒体を含んでよい。ストレージ９は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ９は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
ストレージ９に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。フォアグランドで実行されるアプリケーションは、例えば、ディスプレイ２Ａに画面が表示される。制御プログラムには、例えば、ＯＳが含まれる。アプリケーション及び制御プログラムは、通信ユニット６による無線通信又は非一過的な記憶媒体を介してストレージ９にインストールされてもよい。
ストレージ９は、例えば、制御プログラム９Ａ、ＳＭＳアプリケーション９Ｂ、Ｅメールアプリケーション９Ｃ、メモ帳アプリケーション９Ｄ、動画アプリケーション９Ｅ、ブラウザアプリケーション９Ｆ、及び設定データ９Ｚなどを記憶する。
制御プログラム９Ａは、スマートフォン１を稼働させるための各種制御に関する機能を提供する。制御プログラム９Ａは、対話型のインタフェース機能を提供する。対話型のインタフェース機能には、対話型のインタフェース機能の実行中であることを示す実行画面をディスプレイ２Ａに表示させる機能が含まれる。対話型のインタフェース機能には、マイク８により入力される音声を認識し、認識結果に応じて音声及び文字などで応答する機能が含まれる。
さらに、制御プログラム９Ａは、ユーザにより入力される音声を認識し、認識結果に基づいて処理を実行する機能を提供する。この機能には、音声の認識に成功した場合に、ストレージ９に記憶されているアプリケーションの一覧の中から、認識結果に対応するアプリケーションを自動的に起動する機能が含まれる。
さらに、制御プログラム９Ａは、ユーザにより入力される音声を認識し、認識結果に基づいて処理を実行できない場合に、ストレージ９に記憶されているアプリケーションの一覧を表示する機能を提供する。認識結果に基づいて処理を実行できない場合には、例えば、音声の認識に失敗した場合、あるいは、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを検出できないと判定した場合が含まれる。
その他、制御プログラム９Ａは、通信ユニット６などを制御することによって、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）などを用いた通信を実現させるための機能を提供する。
制御プログラム９Ａは、通信ユニット６などを制御することによって、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を用いた近距離無線通信を実現させるための機能を提供する。
制御プログラム９Ａは、例えば、通信ユニット６及びマイク８などを制御することによって、通話を実現させるための機能を提供する。
制御プログラム９Ａにより提供される機能は、通話を実現させる場合、通話アプリケーション又はメールアプリケーションなど、ストレージ９に記憶される他のプログラムなどが提供する機能と組み合わせて利用されることがある。例えば、制御プログラム９Ａにより提供される上記対話型のインタフェース機能と、制御プログラム９Ａにより提供される他の機能とは、組み合わせて利用されることがある。制御プログラム９Ａにより提供される各機能は、複数のプログラムモジュールに分割されていてもよいし、他のプログラムと結合されていてもよい。例えば、制御プログラム９Ａにより提供される対話型のインタフェース機能は、他のモジュールに分割されていてもよい。
ＳＭＳアプリケーション９Ｂは、ＳＭＳ（Ｓｈｏｒｔ Ｍｅｓｓｅａｇｅ Ｓｅｒｖｉｃｅ）として、所定の文字数以内のメールを送受信するための機能を提供する。Ｅメールアプリケーション９Ｃは、電子メールの作成、送信、受信、及び表示等のための電子メール機能を提供する。メモ帳アプリケーション９Ｄは、テキストデータの作成及び管理するためのテキストエディタ機能を提供する。動画アプリケーション９Ｅは、動画の再生などを行うための機能を提供する。ブラウザアプリケーション９Ｆは、ブラウジング機能を提供する。ストレージ９に記憶されるアプリケーションは一例に過ぎない。図１に示すもの以外に、通話アプリケーション、ナビゲートアプリケーション、音楽プレイヤーアプリケーション、計算機アプリケーション、付箋アプリケーションなど、複数のアプリケーションが記憶されていてもよい。
設定データ９Ｚは、スマートフォン１の動作に関連する各種の設定及び処理に関する情報を含む。
コントローラ１０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、及びＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含むが、これらに限定されない。コントローラ１０は、スマートフォン１の動作を統括的に制御して各種の機能を実現する。
具体的には、コントローラ１０は、ストレージ９に記憶されているデータを必要に応じて参照しつつ、ストレージ９に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ１０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ２Ａ、通信ユニット６、マイク８、及びスピーカ１１を含むが、これらに限定されない。コントローラ１０は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン２Ｂ、ボタン３、照度センサ４、近接センサ５、マイク８、カメラ１２、及び姿勢検出ユニット１５を含むが、これらに限定されない。
コントローラ１０は、制御プログラム９Ａを実行することにより、対話型のインタフェースによる処理を実行する。例えば、コントローラ１０は、対話型のインタフェース機能の実行中であることを示す実行画面をディスプレイ２Ａに表示させる。例えば、コントローラ１０は、マイク８により入力される音声を認識し、認識結果に応じて音声及び文字などで応答する。
さらに、コントローラ１０は、制御プログラム９Ａを実行することにより、ユーザにより入力される音声を認識し、認識結果に基づいて処理を実行する。例えば、コントローラ１０は、音声の認識に成功した場合に、ストレージ９に記憶されているアプリケーションの一覧の中から、認識結果に対応するアプリケーションを自動的に起動する。
さらに、コントローラ１０は、制御プログラム９Ａを実行することにより、ユーザにより入力される音声を認識し、認識結果に基づいて処理を実行できない場合に、ストレージ９に記憶されているアプリケーションの一覧を表示する。認識結果に基づいて処理を実行できない場合には、例えば、音声の認識に失敗した場合、または、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを検出できないと判定した場合が含まれる。
スピーカ１１は、音出力部である。スピーカ１１は、コントローラ１０から送信される音信号を音として出力する。スピーカ１１は、例えば、着信音及び音楽を出力するために用いられる。レシーバ７及びスピーカ１１の一方が、他方の機能を兼ねてもよい。
カメラ１２は、撮影した画像を電気信号へ変換する。カメラ１２には、例えば、ディスプレイ２Ａに面している物体を撮影するインカメラ、ディスプレイ２Ａの反対側の面に面している物体を撮影するアウトカメラが含まれる。
姿勢検出ユニット１５は、スマートフォン１の姿勢を検出する。姿勢検出ユニット１５は、姿勢を検出するために、加速度センサ、方位センサ、及びジャイロスコープの少なくとも１つを備える。
バイブレータ１８は、スマートフォン１の一部又は全体を振動させる。バイブレータ１８は、振動を発生させるために、例えば、圧電素子、又は偏心モータなどを有する。バイブレータ１８による振動は、着信等の各種のイベントを利用者に報知するために用いられる。
図１に示したスマートフォン１の機能構成は例であり、本発明の要旨を損なわない範囲において適宜変更してよい。
図２及び図３を用いて、実施形態１におけるスマートフォン１により実行される処理の一例について説明する。図２及び図３に登場するＦ１は、ユーザの指を示す。図２及び図３では、いわゆるロック画面がディスプレイ２Ａに表示されている場合の処理の一例について説明するが、対話型のインタフェースを起動可能な状況であれば、同様の処理を実現できる。以下の説明において、“操作”と表記するものは、スマートフォン１（コントローラ１０）が、タッチスクリーン２Ｂを介して、検出可能な任意のタッチジェスチャであってよい。
図２は、音声の認識に成功したときの処理の一例を示す図である。図２に示すように、スマートフォン１は、ディスプレイ２Ａにロック画面４０を表示している。ロック画面４０は、スマートフォン１がロック状態にある場合に表示される。スマートフォン１は、ディスプレイ２Ａにロック画面４０が表示されている場合、特定の操作を除いて、ユーザの操作を受け付けない。特定の操作には、例えば、ロック状態を解除するための操作、及び通知画面をディスプレイ２Ａに表示させるための操作が含まれる。ロック状態には、単に、ユーザの操作を受け付けない状態だけでなく、セキュリティロック状態を含んでもよい。図２に示すように、ロック画面４０には、対話型のインタフェースを起動させるためのアイコン４０ａが配置されている。
スマートフォン１は、タッチスクリーン２Ｂを介して、ロック画面４０に配置されているアイコン４０ａに対する操作を検出すると（ステップＳ１１）、ディスプレイ２Ａに対話型のインタフェースの実行画面５０を表示する（ステップＳ１２）。このとき、スマートフォン１は、音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する文字を吹き出し形式でディスプレイ２Ａに表示する。例えば、スマートフォン１は、“ご用件をお話ください”という音声ガイダンスを出力し、音声ガイダンスに対応する文字（Ｏ−１）を実行画面５０に表示する。
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果に対応するアプリケーションを自動的に起動し、アプリケーションの画面をディスプレイ２Ａに表示する（ステップＳ１３〜ステップＳ１４）。例えば、スマートフォン１は、マイク８により入力された音声を“メモ帳”であると認識すると、メモ帳アプリケーション９Ｄを起動し、メモ帳アプリケーション９Ｄの画面６１をディスプレイ２Ａに表示する。
ステップＳ１３〜ステップＳ１４の処理において、スマートフォン１は、マイク８により入力される音声の認識処理の結果に基づいて、音声に対応する文字を吹き出し形式で実行画面５０に表示する。例えば、スマートフォン１は、“メモ帳”という文字（Ｉ−１）を実行画面５０に表示する。アプリケーションを起動する際、スマートフォン１は、起動する旨の音声ガイダンスを出力してもよい。例えば、“メモ帳を起動します”という音声ガイダンスを出力することができる。
図３は、音声の認識結果に対応するアプリケーションを検出できないと判定した場合の処理の一例を示す図である。以下の説明において、“連携アプリケーション”と表記するものは、ストレージ９に記憶されているアプリケーションに該当する。
図３に示すように、スマートフォン１は、ロック画面４０をディスプレイ２Ａに表示している。スマートフォン１は、ロック画面４０に配置されているアイコン４０ａに対する操作を検出すると（ステップＳ２１）、ディスプレイ２Ａに対話型のインタフェースの実行画面５０を表示する（ステップＳ２２）。
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。音声の認識結果に対応するアプリケーションを検出できないと判定した場合、スマートフォン１は、ボタン５０ａを実行画面５０に表示させる（ステップＳ２３〜ステップＳ２４）。ボタン５０ａは、ストレージ９に記憶されているアプリケーションの一覧を表示させるためのものである。このアプリケーションの一覧には、文字情報を入力することが可能なアプリケーションが含まれている。
図３に示すステップＳ２３〜ステップＳ２４において、スマートフォン１は、マイク８により入力される音声の認識処理の結果に基づいて、音声に対応する文字を吹き出し形式で実行画面５０に表示する。例えば、スマートフォン１は、“クリオネ”という文字（Ｉ−２）を実行画面５０に表示する。認識結果に対応するアプリケーションがストレージ９に記憶されていないと判定した場合、スマートフォン１は、起動させるアプリケーションを検出できなかった旨の音声ガイダンスを出力するとともに、音声ガイダンスに対応する文字を吹き出し形式でディスプレイ２Ａに表示してもよい。例えば、スマートフォン１は、“連携アプリが見つかりませんでした”という音声ガイダンスを出力し、音声ガイダンスに対応する文字（Ｏ−２）を実行画面５０に表示することができる。
続いて、スマートフォン１は、タッチスクリーン２Ｂを介して、実行画面５０に表示されるボタン５０ａに対応する操作を検出すると（ステップＳ２５）、アプリケーションの一覧を実行画面５０に表示する（ステップＳ２６）。実行画面５０には、ＳＭＳアプリケーション９Ｂに対応するアイコンＡ１、Ｅメールアプリケーション９Ｃに対応するアイコンＡ２、メモ帳アプリケーション９Ｄに対応するアイコンＡ３、動画アプリケーション９Ｅに対応するアイコンＡ４、及びブラウザアプリケーション９Ｆに対応するアイコンＡ５が表示される。さらに、スマートフォン１は、実行画面５０に、対話型のインタフェースを終了させるためのボタン５０ｂ、及び音声の入力をやり直すためのボタン５０ｃを表示する。
続いて、スマートフォン１は、タッチスクリーン２Ｂを介して、動画アプリケーション９Ｅに対応するアイコンＡ４に対する操作を検出すると（ステップＳ２７）、動画アプリケーション９Ｅを起動し、動画アプリケーション９Ｅの画面６２をディスプレイ２Ａに表示する（ステップＳ２８）。動画アプリケーション９Ｅを起動する際、スマートフォン１は、音声の認識結果を動画アプリケーション９Ｅに受け渡し、例えば、画面６２にある検索入力ボックス６２ａに、音声の認識結果に対応する文字が入力された状態で画面６２を表示させてもよい。
スマートフォン１は、対話型のインタフェースを介してマイク８により入力される音声の認識には成功しても、音声の認識結果に対応するアプリケーションを判別できなければ、アプリケーションを自動的に起動することができない。図３に示すように、スマートフォン１は、例えば、入力された音声を“クリオネ”であると認識したとしても、“クリオネ”に対応するアプリケーションを判別できない場合が起こり得る。そこで、スマートフォン１は、音声の認識結果に対応するアプリケーションを判別することができなくても、アプリケーションの一覧を表示させて、ユーザ自身に選択させる。このように、実施形態１によれば、従来はアプリケーションの起動失敗で終了していた処理を、アプリケーションの起動まで連携させることができ、対話型のインタフェースを介する処理を改善することができる。
スマートフォン１は、マイク８により入力される音声の認識結果を、例えば、文字情報として、アプリケーションの一覧から起動させるアプリケーションに受け渡すことにより、対話型のインタフェース上でのやり取りを有効活用することもできる。
スマートフォン１は、図３に示すステップＳ２３〜ステップＳ２４の処理を省略してもよい。スマートフォン１は、音声の認識結果に対応するアプリケーションを検出できないと判定した場合、ステップＳ２３〜ステップＳ２４の処理を経由することなく、直接、連携アプリケーションの一覧、音声再入力ボタン、及び終了ボタンを実行画面５０に表示するようにしてもよい。
図３では、音声の認識結果に対応するアプリケーションを検出できないと判定した場合のスマートフォン１による処理の一例を説明したが、例えば、マイク８により入力される音声の認識失敗した場合も、図３で説明した処理と同様の処理を適用できる。この場合、図３に示すステップＳ２３〜ステップＳ２４において、入力された音声に対応する文字を表示しなくてもよいし、認識結果に基づいて可能性がより高い文字を推測して表示するようにしてもよい。
図４を用いて、実施形態１に係るスマートフォン１による処理手順の一例を説明する。図４に示す処理手順は、コントローラ１０が、ストレージ９に記憶されている制御プログラム９Ａなどを実行することによって実現される。
図４に示すように、コントローラ１０は、対話型のインタフェースの実行画面をディスプレイ２Ａに表示させる（ステップＳ１０１）。コントローラ１０は、例えば、タッチスクリーン２Ｂを介して、対話型のインタフェースを起動させるためのアイコン５０ａに対する操作を検出すると、対話型のインタフェースを起動し、インタフェースの実行画面５０をディスプレイ２Ａに表示させる（図２、３参照）。
続いて、コントローラ１０は、マイク８により入力される音声の音声データを取得すると（ステップＳ１０２）、音声データの認識処理を実行し、音声の認識に成功したかを判定する（ステップＳ１０３）。
コントローラ１０は、判定の結果、音声の認識に成功した場合には（ステップＳ１０３，Ｙｅｓ）、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを検出できたかを判定する（ステップＳ１０４）。
コントローラ１０は、判定の結果、認識結果に対応するアプリケーションを検出できた場合には（ステップＳ１０４、Ｙｅｓ）、対応するアプリケーションを起動し（ステップＳ１０５）、図４に示す処理手順を終了する。
一方、コントローラ１０は、判定の結果、認識結果に対応するアプリケーションを検出できない場合には（ステップＳ１０４，Ｎｏ）、アプリケーションの一覧を表示させるためのボタン５０ａ（図３参照）を実行画面５０に表示させ、ボタン５０ａに対する操作を検出次第、連携アプリケーションの一覧、音声再入力ボタン、及び終了ボタンを実行画面５０に表示させる（ステップＳ１０６）。認識結果に対応するアプリケーションを検出できない場合、コントローラ１０は、ボタン５０ａを実行画面５０に表示させ、ボタン５０ａに対する操作を検出次第、連携アプリケーションの一覧などを実行画面５０に表示させるという手順とは別の手順で処理してもよい。例えば、コントローラ１０は、認識結果に対応するアプリケーションを検出できない場合には、直ちに、連携アプリケーションの一覧、音声再入力ボタン、及び終了ボタンを実行画面５０に表示させるようにしてもよい。
続いて、コントローラ１０は、タッチスクリーン２Ｂを介して、実行画面５０に対する操作が検出されたかを判定する（ステップＳ１０７）。
コントローラ１０は、判定の結果、実行画面５０に対する操作が検出されない場合には（ステップＳ１０７，Ｎｏ）、実行画面５０に対する操作が検出されるまで、ステップＳ１０７の判定を繰り返し実行する。
コントローラ１０は、判定の結果、実行画面５０に対する操作が検出された場合には（ステップＳ１０７，Ｙｅｓ）、検出された操作がアプリケーションの選択であるかを判定する（ステップＳ１０８）。コントローラ１０は、タッチスクリーン２Ｂを介して検出された操作が、実行画面５０に表示されているアイコンＡ１〜Ａ５（図３参照）のいずれかに対する操作であるかを判定する。
コントローラ１０は、判定の結果、アプリケーションの選択である場合には（ステップＳ１０８，Ｙｅｓ）、選択されたアプリケーションを起動し（ステップＳ１０９）、図４に示す処理手順を終了する。
一方、コントローラ１０は、判定の結果、アプリケーションの選択でない場合には（ステップＳ１０８，Ｎｏ）、検出された操作が音声再入力の選択であるかを判定する（ステップＳ１１０）。コントローラ１０は、タッチスクリーン２Ｂを介して検出された操作が、実行画面５０に表示されているボタン５０ｃ（図３参照）に対する操作であるかを判定する。
コントローラ１０は、判定の結果、音声再入力の選択である場合には（ステップＳ１１０，Ｙｅｓ）、上記ステップＳ１０２の処理手順に戻って、マイク８により入力される音声データを再取得し、以降の処理手順を継続する。
コントローラ１０は、判定の結果、音声再入力の選択でない場合には（ステップＳ１１０，Ｎｏ）、対話型のインタフェースの終了処理であるものと判定し、図４に示す処理手順を終了する。コントローラ１０は、タッチスクリーン２Ｂを介して検出された操作がボタン５０ｃに対する操作でない場合には、対話型のインタフェースを終了させるためのボタン５０ｂ（図３参照）に対する操作であるものと判定して、図４の処理手順を終了する。
上記ステップＳ１０３において、コントローラ１０は、判定の結果、音声の認識に失敗した場合には（ステップＳ１０３，Ｎｏ）、上記ステップＳ１０６の処理手順に移り、以降の処理手順を継続する。コントローラ１０は、連携アプリケーションの一覧、音声再入力ボタン、及び終了ボタンを実行画面５０に表示させて、実行画面５０に対してユーザの操作が検出されるのを待つ。
図４に示す処理手順の順番は、図４に示す例に限定されない。例えば、上記ステップＳ１０８の処理手順による判定と、上記ステップＳ１１０の処理手順による判定の順番が逆であってもよい。
図４に示す処理手順では、音声の認識に失敗した場合に、連携アプリケーションの一覧などを実行画面５０に表示させる例を説明したが、これには限定されない。例えば、一定回数連続して音声の認識を失敗した場合には、連携アプリケーションの一覧などを実行画面５０に表示させるようにしてもよい。これにより、例えば、音声の入力ミスによるアプリケーションの起動失敗に迅速に対応できる。
制御プログラム９Ａは、一定回数連続して音声の認識を失敗した場合に、連携アプリケーションの一覧などを実行画面５０に表示させる機能を提供する。音声認識の失敗の回数は、特に限定されることなく、任意の回数を適用できる。
コントローラ１０は、制御プログラム９Ａを実行することにより、一定回数連続して音声の認識を失敗した場合に、連携アプリケーションの一覧などを実行画面５０に表示させる。
図５は、実施形態１に係るスマートフォン１による処理手順の他の例を示す図である。図５に示す処理手順は、コントローラ１０が、ストレージ９に記憶されている制御プログラム９Ａなどを実行することによって実現される。図５に示す処理手順は、図４に示す処理手順に加えて、ステップＳ２１１に示す処理手順を含む。
図５に示すように、コントローラ１０は、対話型のインタフェースの実行画面をディスプレイ２Ａに表示させる（ステップＳ２０１）。コントローラ１０は、例えば、タッチスクリーン２Ｂを介して、対話型のインタフェースを起動させるためのアイコン５０ａに対する操作を検出すると、対話型のインタフェースを起動し、インタフェースの実行画面５０をディスプレイ２Ａに表示させる（図２、３参照）。
続いて、コントローラ１０は、マイク８により入力される音声の音声データを取得すると（ステップＳ２０２）、音声データの認識処理を実行し、音声の認識に成功したかを判定する（ステップＳ２０３）。
コントローラ１０は、判定の結果、音声の認識に成功した場合には（ステップＳ２０３，Ｙｅｓ）、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを検出できたかを判定する（ステップＳ２０４）。
コントローラ１０は、判定の結果、認識結果に対応するアプリケーションを検出できた場合には（ステップＳ２０４、Ｙｅｓ）、対応するアプリケーションを起動し（ステップＳ２０５）、図５に示す処理手順を終了する。
一方、コントローラ１０は、判定の結果、認識結果に対応するアプリケーションを検出できない場合には（ステップＳ２０４，Ｎｏ）、アプリケーションの一覧を表示させるためのボタン５０ａ（図３参照）を実行画面５０に表示させ、ボタン５０ａに対する操作を検出次第、連携アプリケーションの一覧、音声再入力ボタン、及び終了ボタンを実行画面５０に表示させる（ステップＳ２０６）。認識結果に対応するアプリケーションを検出できない場合、コントローラ１０は、ボタン５０ａを実行画面５０に表示させ、ボタン５０ａに対する操作を検出次第、連携アプリケーションの一覧などを実行画面５０に表示させるという手順とは別の手順で処理を行ってもよい。例えば、コントローラ１０は、認識結果に対応するアプリケーションを検出できない場合には、直ちに、連携アプリケーションの一覧、音声再入力ボタン、及び終了ボタンを実行画面５０に表示させるようにしてもよい。
続いて、コントローラ１０は、タッチスクリーン２Ｂを介して、実行画面５０に対する操作が検出されたかを判定する（ステップＳ２０７）。
コントローラ１０は、判定の結果、実行画面５０に対する操作が検出されない場合には（ステップＳ２０７，Ｎｏ）、実行画面５０に対する操作が検出されるまで、ステップＳ２０７の判定を繰り返し実行する。
コントローラ１０は、判定の結果、実行画面５０に対する操作が検出された場合には（ステップＳ２０７，Ｙｅｓ）、検出された操作がアプリケーションの選択であるかを判定する（ステップＳ２０８）。コントローラ１０は、タッチスクリーン２Ｂを介して検出された操作が、実行画面５０に表示されているアイコンＡ１〜Ａ５（図３参照）のいずれかに対する操作であるかを判定する。
コントローラ１０は、判定の結果、アプリケーションの選択である場合には（ステップＳ２０８，Ｙｅｓ）、選択されたアプリケーションを起動し（ステップＳ２０９）、図５に示す処理手順を終了する。
一方、コントローラ１０は、判定の結果、アプリケーションの選択でない場合には（ステップＳ２０８，Ｎｏ）、検出された操作が音声再入力の選択であるかを判定する（ステップＳ２１０）。コントローラ１０は、タッチスクリーン２Ｂを介して検出された操作が、実行画面５０に表示されているボタン５０ｃ（図３参照）に対する操作であるかを判定する。
コントローラ１０は、判定の結果、音声再入力の選択である場合には（ステップＳ２１０，Ｙｅｓ）、上記ステップＳ２０２の処理手順に戻って、マイク８により入力される音声データを再取得し、以降の処理手順を継続する。
コントローラ１０は、判定の結果、音声再入力の選択でない場合には（ステップＳ２１０，Ｎｏ）、対話型のインタフェースの終了処理であるものと判定し、図５に示す処理手順を終了する。コントローラ１０は、タッチスクリーン２Ｂを介して検出された操作がボタン５０ｃに対する操作でない場合には、対話型のインタフェースを終了させるためのボタン５０ｂ（図３参照）に対する操作であるものと判定して、図５の処理手順を終了する。
上記ステップＳ２０３において、コントローラ１０は、判定の結果、音声の認識に失敗した場合には（ステップＳ２０３，Ｎｏ）、図４に示す処理手順とは異なり、一定回数連続して音声の認識に失敗したかを判定する（ステップＳ２１１）。
コントローラ１０は、判定の結果、一定回数連続して音声の認識に失敗した場合には（ステップＳ２１１，Ｙｅｓ）、上記ステップＳ２０６の処理手順に移り、以降の処理手順を継続する。コントローラ１０は、連携アプリケーションの一覧、音声再入力ボタン、及び終了ボタンを実行画面５０に表示させて、実行画面５０に対してユーザの操作が検出されるのを待つ。
コントローラ１０は、判定の結果、一定回数連続して音声の認識に失敗していない場合には（ステップＳ２１１，Ｎｏ）、上記ステップＳ２０２の処理手順に戻って、マイク８により入力される音声データを再取得し、以降の処理手順を継続する。このとき、コントローラ１０は、音声の再入力を促すための音声ガイダンスを出力するようにしてもよい。
図５に示す処理手順の順番は、図５に示す例に限定されない。例えば、上記ステップＳ２０８の処理手順による判定と、上記ステップＳ２１０の処理手順による判定の順番が逆であってもよい。
（実施形態２）
実施形態１において、音声の認識結果に対応するアプリケーションを検出できないと判定した場合に、該当の認識結果を、アプリケーションを起動させるための呼び方として登録するようにしてもよい。これにより、次回以降の処理において、同一の音声によりアプリケーションを起動させることができる。
制御プログラム９Ａは、音声の認識結果に対応するアプリケーションを検出できないと判定した場合に、認識結果をアプリケーションの呼び方として登録するための機能を提供する。
コントローラ１０は、制御プログラム９Ａを実行することにより、音声の認識結果に対応するアプリケーションを検出できないと判定した場合に、認識結果をアプリケーションの呼び方として登録するための処理を実行する。
図６及び図７を用いて、実施形態２におけるスマートフォン１により実行される処理の一例について説明する。図６及び図７に登場するＦ１は、ユーザの指を示す。以下では、いわゆるロック画面がディスプレイ２Ａに表示されている場合の処理の一例について説明するが、いわゆるホーム画面がディスプレイ２に表示されている場合であっても、同様の処理を実現できる。
図６に示すように、スマートフォン１は、ディスプレイ２Ａにロック画面４０を表示している。そして、スマートフォン１は、タッチスクリーン２Ｂを介して、ロック画面４０に配置されているアイコン４０ａに対する操作を検出すると（ステップＳ３１）、ディスプレイ２Ａに対話型のインタフェースの実行画面５０を表示する（ステップＳ３２）。
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識結果に対応するアプリケーションがストレージ９に記憶されていないと判定した場合、スマートフォン１は、ストレージ９に記憶されているアプリケーションの一覧を表示させるためのボタン５０ａ、及び認識結果をアプリケーションの呼び方として登録するためのボタン５０ｄを実行画面５０に表示させる（ステップＳ３３〜ステップＳ３４）。
図６に示すステップＳ３３〜ステップＳ３４において、スマートフォン１は、マイク８により入力される音声の認識処理の結果に基づいて、音声に対応する文字を吹き出し形式で実行画面５０に表示する。例えば、スマートフォン１は、“検索”という文字（Ｉ−３）を実行画面５０に表示する。音声の認識結果に対応するアプリケーションを検出できないと判定した場合、スマートフォン１は、起動させるアプリケーションを検出できなかった旨の音声ガイダンスを出力するとともに、音声ガイダンスに対応する文字を吹き出し形式でディスプレイ２Ａに表示してもよい。例えば、スマートフォン１は、“連携アプリが見つかりませんでした。”という音声ガイダンスを出力し、音声ガイダンスに対応する文字（Ｏ−２）を実行画面５０に表示することができる。
続いて、スマートフォン１は、タッチスクリーン２Ｂを介して、実行画面５０に表示されるボタン５０ｄに対応する操作を検出すると（ステップＳ３５）、呼び方を関連付けるアプリケーションを選択するための画面７０に表示する（ステップＳ３６）。画面７０には、各アプリケーションに対応する画像が一覧表示される。呼び方の登録が行われているアプリケーションについては、呼び方が合わせて表示される。例えば、図６に示すように、ＳＭＳアプリケーション９Ｂについては、“ミニメール”という呼び方が登録済みものとして表示されている。画面７０には、呼び方の登録の選択を促すメッセージ７０ａが表示される。画面７０を表示する際、メッセージ７０ａに対応する音声ガイダンスを出力してもよい。メッセージ７０ａを画面７０に表示せずに、音声ガイダンスのみを出力してもよいし、メッセージ７０ａの表示および音声ガイダンスの出力の双方を行わなくてもよい。
続いて、図７に示すように、スマートフォン１は、タッチスクリーン２Ｂを介して、画面７０に表示されているブラウザアプリケーション９Ｆに対応する箇所への操作を検出すると（ステップＳ３７）、呼び方の登録を行うか否かの確認画面７１をディスプレイ２Ａに表示する（ステップＳ３８）。確認画面７１には、ブラウザアプリケーション９Ｆの呼び方として“検索”を登録するかを確認するメッセージと、登録を許可する場合の操作位置（例えば、ＯＫと表記される位置）、登録を許可しない場合の操作位置（例えば、キャンセルと表記される位置）が表示される。
続いて、スマートフォン１は、タッチスクリーン２Ｂを介して、確認画面７１において“ＯＫ”と表記される位置への操作を検出すると（ステップＳ３９）、ブラウザアプリケーション９Ｆの呼び方として“検索”を登録し、画面７０をディスプレイ２Ａに表示する（ステップＳ４０）。画面７０には、呼び方の登録が完了した旨のメッセージ７０ｂが表示される。画面７０を表示する際、メッセージ７０ｂに対応する音声ガイダンスを出力してもよい。メッセージ７０ｂを画面７０に表示せずに、音声ガイダンスのみを出力してもよいし、メッセージ７０ｂの表示および音声ガイダンスの出力の双方を行わなくてもよい。スマートフォン１は、呼び方の登録が完了した旨のメッセージ７０ｂを含む画面７０を表示した後、図６及び図７に示す処理を終了し、例えば、ロック画面４０、又はいわゆるホーム画面などをディスプレイ２Ａに表示させる。
ステップＳ３９において、スマートフォン１は、タッチスクリーン２Ｂを介して、確認画面７１において“キャンセル”と表記される位置への操作を検出した場合には、ステップＳ３４の実行画面５０に戻ってもよいし、対話型のインタフェースを終了してもよい。
図８〜図１０を用いて、実施形態２に係るスマートフォン１による処理手順の一例を説明する。図８〜図１０に示す処理手順は、コントローラ１０が、ストレージ９に記憶されている制御プログラム９Ａなどを実行することによって実現される。図８〜図１０に示す処理手順は、実施形態１で説明した処理手順（図５）に加えて、ステップＳ３０６〜ステップＳ３１３に示す処理手順を含む。
図８に示すように、コントローラ１０は、対話型のインタフェースの実行画面をディスプレイ２Ａに表示させる（ステップＳ３０１）。
続いて、コントローラ１０は、マイク８により入力される音声の音声データを取得すると（ステップＳ３０２）、音声データの認識処理を実行し、音声の認識に成功したかを判定する（ステップＳ３０３）。
コントローラ１０は、判定の結果、音声の認識に成功した場合には（ステップＳ３０３，Ｙｅｓ）、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを検出できたかを判定する（ステップＳ３０４）。
コントローラ１０は、判定の結果、認識結果に対応するアプリケーションを検出できた場合には（ステップＳ３０４、Ｙｅｓ）、対応するアプリケーションを起動して（ステップＳ３０５）、処理手順を終了する。
一方、コントローラ１０は、判定の結果、認識結果に対応するアプリケーションを検出できない場合には（ステップＳ３０４，Ｎｏ）、連携アプリケーションの一覧を表示させるためのボタン５０ａ、及び呼び方の登録を行うためのボタン５０ｄ（図６参照）を実行画面５０に表示させる（ステップＳ３０６）。
続いて、コントローラ１０は、タッチスクリーン２Ｂを介して、実行画面５０に対する操作が検出されたかを判定する（ステップＳ３０７）。
コントローラ１０は、判定の結果、実行画面５０に対する操作が検出されない場合には（ステップＳ３０７，Ｎｏ）、実行画面５０に対する操作が検出されるまで、ステップＳ３０７の判定を繰り返し実行する。
コントローラ１０は、判定の結果、実行画面５０に対する操作が検出された場合には（ステップＳ３０７，Ｙｅｓ）、検出された操作が呼び方の登録であるかを判定する（ステップＳ３０８）。コントローラ１０は、タッチスクリーン２Ｂを介して検出された操作が、実行画面５０に表示されているボタン５０ｄ（図６参照）に対する操作であるかを判定する。
コントローラ１０は、判定の結果、呼び方の登録である場合には（ステップＳ３０８，Ｙｅｓ）、図９に示すように、呼び方を関連付けるアプリケーションを選択するための画面７０（図７参照）をディスプレイ２Ａに表示させる（ステップＳ３０９）。
続いて、コントローラ１０は、タッチスクリーン２Ｂを介して検出される画面７０でのアプリケーションの選択に応じて、呼び方の登録を実行するかを確認するための確認画面７１をディスプレイ２Ａに表示させる（ステップＳ３１０）。
続いて、コントローラ１０は、呼び方の登録が許可されたかを判定する（ステップＳ３１１）。コントローラ１０は、確認画面７１において“ＯＫ”と表記される位置（図７参照）への操作を検出したかを判定する。
コントローラ１０は、判定の結果、呼び方の登録が許可された場合には（ステップＳ３１１，Ｙｅｓ）、選択されたアプリケーションに関連付けて呼び方を登録し（ステップＳ３１２）、処理手順を終了する。コントローラ１０は、ステップＳ３０９で選択されたアプリケーションに関連付けて、ステップＳ３０３の認識結果を呼び方として登録する（ステップＳ３１２）。コントローラ１０は、アプリケーションに関連付けられる呼び方のデータを、例えば、ストレージ９の設定データ９Ｚに格納する。
コントローラ１０は、判定の結果、呼び方の登録が許可されない場合には（ステップＳ３１１，Ｎｏ）、上記ステップＳ３０６に戻る。コントローラ１０は、ボタン５０ａおよびボタン５０ｄが表示される実行画面５０をディスプレイ２Ａに再表示させる。コントローラ１０は、例えば、呼び方の登録をやめて、アプリケーションの一覧を表示させたいというユーザの心変わりに対処する。コントローラ１０は、上記ステップＳ３０６に戻る手順に限定されるものではなく、例えば、処理手順を終了してもよい。
上記ステップＳ３０８において、コントローラ１０は、判定の結果、検出された操作が呼び方の登録でない場合には（ステップＳ３０８，Ｎｏ）、アプリケーションの一覧などの表示であるものと判定して、図８に示すように、連携アプリケーションの一覧、音声再入力ボタン、及び終了ボタンを実行画面５０に表示する（ステップＳ３１３）。
続いて、コントローラ１０は、タッチスクリーン２Ｂを介して、実行画面５０に対する操作が検出されたかを判定する（ステップＳ３１４）。
コントローラ１０は、判定の結果、実行画面５０に対する操作が検出されない場合には（ステップＳ３１４，Ｎｏ）、実行画面５０に対する操作が検出されるまで、ステップＳ３１４の判定を繰り返し実行する。
コントローラ１０は、判定の結果、実行画面５０に対する操作が検出された場合には（ステップＳ３１４，Ｙｅｓ）、図１０に示すように、検出された操作がアプリケーションの選択であるかを判定する（ステップＳ３１５）。コントローラ１０は、タッチスクリーン２Ｂを介して検出された操作が、実行画面５０に表示されているアイコンＡ１〜Ａ５（図３参照）のいずれかに対する操作であるかを判定する。
コントローラ１０は、判定の結果、アプリケーションの選択である場合には（ステップＳ３１５，Ｙｅｓ）、選択されたアプリケーションを起動し（ステップＳ３１６）、処理手順を終了する。
一方、コントローラ１０は、判定の結果、アプリケーションの選択でない場合には（ステップＳ３１５，Ｎｏ）、検出された操作が音声再入力の選択であるかを判定する（ステップＳ３１７）。コントローラ１０は、タッチスクリーン２Ｂを介して検出された操作が、実行画面５０に表示されているボタン５０ｃ（図３参照）に対する操作であるかを判定する。
コントローラ１０は、判定の結果、音声再入力の選択である場合には（ステップＳ３１７，Ｙｅｓ）、上記ステップＳ３０２の処理手順に戻って、マイク８により入力される音声データを再取得し、以降の処理手順を継続する。
コントローラ１０は、判定の結果、音声再入力の選択でない場合には（ステップＳ３１７，Ｎｏ）、対話型のインタフェースの終了処理であるものと判定し、処理手順を終了する。コントローラ１０は、タッチスクリーン２Ｂを介して検出された操作がボタン５０ｃに対する操作でない場合には、対話型のインタフェースを終了させるためのボタン５０ｂ（図３参照）に対する操作であるものと判定して、処理手順を終了する。
上記ステップＳ３０３において、コントローラ１０は、判定の結果、音声の認識に失敗した場合には（ステップＳ３０３，Ｎｏ）、一定回数連続して音声の認識に失敗したかを判定する（ステップＳ３１８）。
コントローラ１０は、判定の結果、一定回数連続して音声の認識に失敗した場合には（ステップＳ３１８，Ｙｅｓ）、上記ステップＳ３１３の処理手順に移り、以降の処理手順を継続する。コントローラ１０は、連携アプリケーションの一覧、音声再入力ボタン、及び終了ボタンを実行画面５０に表示させて、実行画面５０に対してユーザの操作が検出されるのを待つ。
コントローラ１０は、判定の結果、一定回数連続して音声の認識に失敗していない場合には（ステップＳ３１８，Ｎｏ）、上記ステップＳ３０２の処理手順に戻って、マイク８により入力される音声データを再取得し、以降の処理手順を継続する。このとき、コントローラ１０は、音声の再入力を促すための音声ガイダンスを出力するようにしてもよい。
図８〜図１０に示す処理手順の順番は、図８〜図１０に示す例に限定されない。例えば、上記ステップＳ３１５の処理手順と、上記ステップＳ３１７の処理手順の順番が逆であってもよい。図８〜図１０に示す処理手順は、図に示すすべて処理手順を含んでいなくてもよい。例えば、ステップＳ３１８の処理手順を含んでいなくてもよい。
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。
例えば、図１に示した制御プログラム９Ａ及び各アプリケーションは、複数のモジュールに分割されていてもよい。あるいは、図１に示した制御プログラム９Ａは、他のプログラムと結合されていてもよい。
上記実施形態では、タッチスクリーンを備える装置の一例として、スマートフォンについて説明したが、添付の請求項に係る装置は、スマートフォンに限定されない。添付の請求項に係る装置は、スマートフォン以外の電子機器であってもよい。電子機器は、例えば、モバイルフォン、タブレット、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、及びゲーム機である。あるいは、添付の請求項に係る装置は、据え置き型の電子機器であってもよい。据え置き型の電子機器は、例えば、デスクトップパソコン、及びテレビ受像器である。
上記実施形態の対話型のインタフェースでは、音声入力に対して音声ガイダンスおよびディスプレイ表示によって応答しているが、いずれか一方によって応答するインタフェースを採用してもよい。
上記実施形態の対話型のインタフェースでは、音声入力によってアプリケーションを起動することができる。このスマートフォン１では、音声入力によって起動することになったアプリケーションが既に起動している場合、当該アプリケーションを実行する。上記実施形態において、スマートフォン１（コントローラ１０）がプログラム（又は、アプリケーション）を起動する場合には、ストレージ９に記憶されているプログラムを新たに読み出してその処理を開始する場合と、既に読み出されているプログラムの処理を新たに開始する場合とが含まれる。上記実施形態において、スマートフォン１（コントローラ１０）がプログラムを実行する場合には、プログラムを起動する場合と、中断中のプログラムを再開する場合と、起動済のプログラムの処理を継続する場合とが含まれる。
１ スマートフォン
２ タッチスクリーンディスプレイ
２Ａ ディスプレイ
２Ｂ タッチスクリーン
３ ボタン
４ 照度センサ
５ 近接センサ
６ 通信ユニット
７ レシーバ
８ マイク
９ ストレージ
９Ａ 制御プログラム
９Ｂ ＳＭＳアプリケーション
９Ｃ Ｅメールアプリケーション
９Ｄ メモ帳アプリケーション
９Ｅ 動画アプリケーション
９Ｆ ブラウザアプリケーション
９Ｚ 設定データ
１０ コントローラ
１１ スピーカ
１２ カメラ
１５ 姿勢検出ユニット
１８ バイブレータ

Claims (3)

  1. マイクと、
    アプリケーションの一覧情報を記憶したストレージと、
    前記マイクにより入力された音声の認識結果に基づいて前記一覧情報から対応するアプリケーションの検出処理を行い、前記検出処理により対応するアプリケーションを検出できた場合に前記対応するアプリケーションの実行処理を行うコントローラとを有し、
    前記コントローラは、前記検出処理において、前記一覧情報から対応するアプリケーションを検出できなかった場合に、前記一覧情報のうち文字情報を入力することが可能なアプリケーションの表示処理を行う電子機器。
  2. マイクを有する電子機器を制御する制御方法であって、
    前記マイクにより入力された音声の認識処理を行い、
    前記認識処理の結果に基づいてアプリケーションの一覧情報から対応するアプリケーションの検出処理を行い、
    前記検出処理により対応するアプリケーションを検出できた場合に前記対応するアプリケーションの実行処理を行い、
    前記検出処理により前記対応するアプリケーションを検出できなかった場合に、前記一覧情報のうち文字情報を入力することが可能なアプリケーションの表示処理を行う制御方法。
  3. マイクを有する電子機器に、
    前記マイクにより入力される音声の認識処理を行い、
    前記認識処理の結果に基づいてアプリケーションの一覧情報から対応するアプリケーションの検出処理を行い、
    前記検出処理により対応するアプリケーションを検出できた場合に前記対応するアプリケーションの実行処理を行い、
    前記検出処理により前記対応するアプリケーションを検出できなかった場合に、前記一覧情報のうち文字情報を入力することが可能なアプリケーションの表示処理を行う制御プログラム。
JP2012223541A 2012-10-05 2012-10-05 電子機器、制御方法、及び制御プログラム Active JP6133564B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012223541A JP6133564B2 (ja) 2012-10-05 2012-10-05 電子機器、制御方法、及び制御プログラム
PCT/JP2013/077134 WO2014054794A1 (ja) 2012-10-05 2013-10-04 電子機器、制御方法、及び制御プログラム
US14/433,081 US9734829B2 (en) 2012-10-05 2013-10-04 Electronic device, control method, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012223541A JP6133564B2 (ja) 2012-10-05 2012-10-05 電子機器、制御方法、及び制御プログラム

Publications (2)

Publication Number Publication Date
JP2014075104A JP2014075104A (ja) 2014-04-24
JP6133564B2 true JP6133564B2 (ja) 2017-05-24

Family

ID=50435112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012223541A Active JP6133564B2 (ja) 2012-10-05 2012-10-05 電子機器、制御方法、及び制御プログラム

Country Status (3)

Country Link
US (1) US9734829B2 (ja)
JP (1) JP6133564B2 (ja)
WO (1) WO2014054794A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106463110A (zh) * 2014-06-03 2017-02-22 索尼公司 信息处理设备、信息处理方法和程序
CN104076810A (zh) * 2014-06-11 2014-10-01 深圳市元征软件开发有限公司 基于手机语音方式的汽车诊断方法
KR102281178B1 (ko) * 2014-07-09 2021-07-23 삼성전자주식회사 멀티-레벨 음성 인식 방법 및 장치
DE112016006496T5 (de) * 2016-02-26 2018-11-15 Mitsubishi Electric Corporation Stimmerkennungsvorrichtung
US10657968B1 (en) * 2018-11-19 2020-05-19 Google Llc Controlling device output according to a determined condition of a user

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222337A (ja) * 1997-02-13 1998-08-21 Meidensha Corp コンピュータシステム
JP2000056823A (ja) * 1998-08-04 2000-02-25 Hitachi Ltd データ監視システム
JP2001175381A (ja) * 1999-12-15 2001-06-29 Sharp Corp アプリケーション登録装置及び方法並びにこれに利用される記憶媒体
US7177816B2 (en) * 2002-07-05 2007-02-13 At&T Corp. System and method of handling problematic input during context-sensitive help for multi-modal dialog systems
US8311835B2 (en) * 2003-08-29 2012-11-13 Microsoft Corporation Assisted multi-modal dialogue
JP2006221270A (ja) * 2005-02-08 2006-08-24 Nec Saitama Ltd 音声認識機能を備えた携帯端末装置のマルチタスクシステム及び方法
JP2007067511A (ja) * 2005-08-29 2007-03-15 Sony Ericsson Mobilecommunications Japan Inc 携帯情報端末及びリモートコントロール方法
US8620667B2 (en) * 2005-10-17 2013-12-31 Microsoft Corporation Flexible speech-activated command and control
JP2007280179A (ja) * 2006-04-10 2007-10-25 Mitsubishi Electric Corp 携帯端末
US8519963B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture on a touch screen display
US8886545B2 (en) * 2007-03-07 2014-11-11 Vlingo Corporation Dealing with switch latency in speech recognition
KR20090107365A (ko) 2008-04-08 2009-10-13 엘지전자 주식회사 이동 단말기 및 그 메뉴 제어방법
KR20100007625A (ko) * 2008-07-14 2010-01-22 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
KR101545582B1 (ko) * 2008-10-29 2015-08-19 엘지전자 주식회사 단말기 및 그 제어 방법
JP4667516B2 (ja) 2009-06-30 2011-04-13 キヤノン株式会社 情報処理装置、情報処理システムの制御方法およびプログラム
JP5638210B2 (ja) * 2009-08-27 2014-12-10 京セラ株式会社 携帯電子機器
KR20110106519A (ko) * 2010-03-23 2011-09-29 삼성전자주식회사 이동통신 단말기에서 온톨로지 데이터베이스를 이용한 데이터 검색 장치 및 방법
KR101295711B1 (ko) * 2011-02-15 2013-08-16 주식회사 팬택 음성 인식으로 애플리케이션의 실행 가능한 이동통신 단말 장치 및 방법

Also Published As

Publication number Publication date
JP2014075104A (ja) 2014-04-24
US9734829B2 (en) 2017-08-15
WO2014054794A1 (ja) 2014-04-10
US20150262578A1 (en) 2015-09-17

Similar Documents

Publication Publication Date Title
JP6125811B2 (ja) 電子機器、制御方法、及び制御プログラム
JP6393021B2 (ja) 電子機器、制御方法、及び制御プログラム
JP6133564B2 (ja) 電子機器、制御方法、及び制御プログラム
JP6215128B2 (ja) 携帯電子機器、制御方法及び制御プログラム
JP6088358B2 (ja) 装置、制御方法、及びプログラム
JP2015142321A (ja) 携帯電子機器、表示制御方法及び表示制御プログラム
JP6139912B2 (ja) 携帯電子機器、制御方法及び制御プログラム
JP2014072756A (ja) 電子機器、制御方法及び制御プログラム
JP6302155B2 (ja) 通信装置、制御方法、プログラム、通信モジュール、及びコントローラ
JP6405024B1 (ja) 電子機器、制御方法及び制御プログラム
JP2014068240A (ja) 電子機器、制御方法、及び制御プログラム
US20150229802A1 (en) Electronic device, control method, and control program
JP2014225796A (ja) 電子機器、制御方法、及び制御プログラム
JP6059256B2 (ja) 通信端末及び記憶媒体
JP2014225798A (ja) 電子機器、制御方法、及び制御プログラム
JP6152334B2 (ja) 電子機器、制御方法、及び制御プログラム
JP5864390B2 (ja) 通信装置、通信方法、及び通信プログラム
JP2017050888A (ja) 装置、制御方法、及びプログラム
JP6087685B2 (ja) 携帯電子機器、制御方法及び制御プログラム
JP2016197441A (ja) 電子機器、制御方法、及び制御プログラム
JP5763117B2 (ja) 携帯電子機器、制御方法及び制御プログラム
JP5583713B2 (ja) 通信装置、通信方法、及び通信プログラム
WO2014185503A1 (ja) 電子機器、制御方法、及び記録媒体
JP2014082629A (ja) 携帯端末、通信制御方法及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160824

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160830

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20161021

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170420

R150 Certificate of patent or registration of utility model

Ref document number: 6133564

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150