JP5955299B2 - 表示制御装置、表示制御方法、プログラム及び情報記憶媒体 - Google Patents

Description

本発明は、表示制御装置、表示制御方法、プログラム及び情報記憶媒体に関する。

ユーザが入力した音声を受け付けて、当該音声が表す情報に応じた処理を実行する技術が存在する。当該技術を利用した装置の一例として、受け付ける音声を表す情報に関連付けられている注目選択肢を強調表示するなどして当該注目選択肢が特定されていることを表す情報が表示されるようにしたものがある。当該装置では、例えば実行指示を表す音声を受け付けると注目選択肢に応じた処理が実行される。

従来技術では、受け付ける音声を表す情報に関連付けられている選択肢が複数存在する場合に何らかの基準に従っていずれかが注目選択肢として特定され、当該注目選択肢が選択されていることを表す情報が表示されていた。そしてこのような場合に、当該基準に従った選択からは漏れたがユーザが選択したかった可能性がある代替選択肢についてどのような音声を入力すれば注目選択肢として特定されるのかがユーザに案内されなかった。

また従来技術では、注目選択肢以外に例えばユーザにリコメンドする選択肢などといった代替選択肢があっても、どのような音声を入力すれば当該代替選択肢が注目選択肢として特定されるのかがユーザに案内されなかった。

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、どのような音声を入力すれば代替選択肢が注目選択肢として特定されるのかをユーザに案内できる表示制御装置、表示制御方法、プログラム及び情報記憶媒体を提供することにある。

上記課題を解決するために、本発明に係る表示制御装置は、音声を受け付ける音声受付部と、それぞれ音声を表す情報に関連付けられている複数の選択肢のうちから、前記音声受付部による音声の受付に応じて、受け付けた音声を表す情報に関連付けられている選択肢である注目選択肢、及び、当該音声を表す情報又は当該注目選択肢に基づいて特定される当該注目選択肢以外の代替選択肢を特定する選択肢特定部と、前記注目選択肢が選択されていることを表す情報と、前記音声受付部による受付に応じて前記選択肢特定部により前記代替選択肢が前記注目選択肢として特定される音声を表す情報と、を表示させる表示制御部と、を含むことを特徴とする。

また、本発明に係る表示制御方法は、音声を受け付けるステップと、それぞれ音声を表す情報に関連付けられている複数の選択肢のうちから、前記音声受付部による音声の受付に応じて、受け付けた音声を表す情報に関連付けられている選択肢である注目選択肢、及び、当該音声を表す情報又は当該注目選択肢に基づいて特定される当該注目選択肢以外の代替選択肢を特定するステップと、前記注目選択肢が選択されていることを表す情報と、前記音声受付部による受付に応じて前記選択肢特定部により前記代替選択肢が前記注目選択肢として特定される音声を表す情報と、を表示させるステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、音声を受け付ける手順、それぞれ音声を表す情報に関連付けられている複数の選択肢のうちから、前記音声受付部による音声の受付に応じて、受け付けた音声を表す情報に関連付けられている選択肢である注目選択肢、及び、当該音声を表す情報又は当該注目選択肢に基づいて特定される当該注目選択肢以外の代替選択肢を特定する手順、前記注目選択肢が選択されていることを表す情報と、前記音声受付部による受付に応じて前記選択肢特定部により前記代替選択肢が前記注目選択肢として特定される音声を表す情報と、を表示させる手順、をコンピュータに実行させることを特徴とする。

また、本発明に係る情報記憶媒体は、音声を受け付ける手順、それぞれ音声を表す情報に関連付けられている複数の選択肢のうちから、前記音声受付部による音声の受付に応じて、受け付けた音声を表す情報に関連付けられている選択肢である注目選択肢、及び、当該音声を表す情報又は当該注目選択肢に基づいて特定される当該注目選択肢以外の代替選択肢を特定する手順、前記注目選択肢が選択されていることを表す情報と、前記音声受付部による受付に応じて前記選択肢特定部により前記代替選択肢が前記注目選択肢として特定される音声を表す情報と、を表示させる手順、をコンピュータに実行させることを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。

本発明の一態様では、前記表示制御部は、前記注目選択肢が選択されていることを表す情報と、前記代替選択肢に関連付けられている複数の音声を表す情報のいずれかであって前記注目選択肢に関連付けられている音声を表す情報とは異なる情報と、を表示させる。

また、本発明の一態様では、前記選択肢特定部は、受け付けた音声を表す情報に関連付けられている選択肢が複数存在する場合に、当該複数の選択肢のそれぞれに関連付けられている属性の値に基づいて前記注目選択肢を特定する。

この態様では、前記選択肢特定部は、複数の選択肢のそれぞれに関連付けられている属性の値に基づいて、最も高い順位の選択肢として特定される選択肢を前記注目選択肢として特定し、２番目に高い順位であると特定される選択肢を前記代替選択肢として特定してもよい。

また、前記属性の値は、前記選択肢に対応付けられるプログラムが実行されたタイミングを示す値であってもよい。

また、本発明の一態様では、前記選択肢特定部は、それぞれプログラムに対応付けられる複数の選択肢のうち最後に実行されたタイミングが最も遅いプログラムに対応付けられる選択肢を前記注目選択肢として特定する。

この態様では、前記選択肢特定部は、最後に実行されたタイミングが２番目に遅いプログラムに対応付けられる選択肢を前記代替選択肢として特定してもよい。

また、本発明の一態様では、前記選択肢特定部は、前記注目選択肢に関連付けられている選択肢を前記代替選択肢として特定する。

また、本発明の一態様では、プログラムに対応付けられる前記選択肢に関連付けられている音声を表す情報は、当該選択肢に対応付けられるプログラムの提供者により設定された情報である。

また、本発明の一態様では、前記表示制御部は、前記注目選択肢を他の選択肢よりも大きく表示させることで前記注目選択肢が選択されていることを表す情報を表示させる。

本発明の一実施形態に係る情報処理システムの全体構成の一例を示す図である。 本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。 本発明の一実施形態に係るコントローラの一例の平面図である。 図３Ａに示すコントローラの背面図である。 ホーム画面の一例を示す図である。 ホーム画面の一例を示す図である。 ホーム画面の一例を示す図である。 ホーム画面の一例を示す図である。 ホーム画面の一例を示す図である。 プログラム管理データの一例を示す図である。 コマンド管理データの一例を示す図である。 プレイ画面の一例を示す図である。 プレイ画面の一例を示す図である。 コマンド管理データの一例を示す図である。 ホーム画面の一例を示す図である。 プレイ画面の一例を示す図である。 プレイ画面の一例を示す図である。 電源制御画面の一例を示す図である。 電源制御画面の一例を示す図である。 本発明の一実施形態に係る情報処理装置で実現される機能の一例を示す機能ブロック図である。 配置決定規則データの一例を模式的に示す図である。 本実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。 本実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る情報処理システム１０の全体構成の一例を示す図である。図１に示すように、本実施形態に係る情報処理システム１０は、情報処理装置１２とディスプレイ１４とカメラマイクユニット１６とコントローラ１８とを含んでいる。

本実施形態に係る情報処理装置１２は、例えばゲームコンソールなどといったエンタテインメント装置等のコンピュータであり、例えば図２に示すように、制御部２０、記憶部２２、通信部２４、入出力部２６を含んでいる。制御部２０は、例えば情報処理装置１２にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。記憶部２２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部２２には、制御部２０によって実行されるプログラムなどが記憶される。通信部２４は、例えばネットワークボードや無線ＬＡＮモジュールなどの通信インタフェースなどである。入出力部２６は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートやＵＳＢポートなどの入出力ポートである。

本実施形態に係るディスプレイ１４は、液晶ディスプレイ等であり、情報処理装置１２が生成する画面などを表示させる。また、本実施形態に係るディスプレイ１４は、情報処理装置１２が生成する音声データが表す音声を出力するスピーカも備えている。本実施形態に係るカメラマイクユニット１６は、例えば被写体を撮像した画像を情報処理装置１２に出力するカメラ１６ａ及び周囲の音声を取得して当該音声を音声データに変換して情報処理装置１２に出力するマイク１６ｂを含んでいる。

情報処理装置１２とディスプレイ１４とは、例えば、ＡＶケーブルや、ＨＤＭＩケーブル等を介して接続されている。情報処理装置１２とカメラマイクユニット１６とは、例えば、ＵＳＢケーブルや、ＡＶケーブルや、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ケーブル等を介して接続されている。

本実施形態に係るコントローラ１８は、情報処理装置１２に対する操作入力を行うための操作入力装置である。図３Ａは、本実施形態に係るコントローラ１８の一例の平面図である。図３Ｂは、当該コントローラ１８の背面図である。

これらの図に示されるように、コントローラ１８は、横長の本体部分に対して、その左右から手前側（図３Ｂにおける紙面下側）に突出する把持部ＧＬ、ＧＲを有している。ユーザは、把持部ＧＬ、ＧＲをそれぞれ左右の手で把持してコントローラ１８を使用する。

コントローラ１８の上面左側の、ユーザが把持部ＧＬを左手で把持した状態でその親指により操作可能な位置には、４つの方向キーＤＫ１〜ＤＫ４や操作スティックＳＬなどが配置されている。コントローラ１８の上面右側の、ユーザが把持部ＧＲを右手で把持した状態でその親指により操作可能な位置には、４つのボタンＢ１〜Ｂ４や操作スティックＳＲが設けられている。コントローラ１８の背面左側の、ユーザが把持部ＧＬを左手で把持した状態でその人差し指や中指により操作可能な位置には、ボタンＢＬ１、ＢＬ２が設けられている。コントローラ１８の背面右側の、ユーザが把持部ＧＲを右手で把持した状態でその人差し指や中指により操作可能な位置には、背面ボタンＢＲ１、ＢＲ２が設けられている。また、本実施形態に係るコントローラ１８には、その他のボタン等の操作子やタッチセンサも設けられている。また、本実施形態に係るコントローラ１８は、角速度を検出するジャイロセンサ、加速度を検出する加速度センサ等のセンサを備えている。

また、本実施形態に係るコントローラ１８はジャックＪを備えており、当該ジャックＪにマイクが備えるプラグを差し込むことにより、当該マイクによる音声入力も可能を行うことができるようになっている。コントローラ１８に差し込まれたマイクに入力された音声はコントローラ１８で音声データに変換されて情報処理装置１２に出力される。

本実施形態では、カメラマイクユニット１６が備えるマイク１６ｂにユーザが音声を入力することにより、情報処理装置１２は当該音声を認識して、当該音声の認識結果に応じた各種処理を実行する。このようにして、本実施形態では、ユーザは音声によって情報処理装置１２に対する操作を行うことができるようになっている。なお本実施形態では、コントローラ１８のジャックＪにマイクのプラグが差し込まれている際には、当該マイクに入力された音声の認識結果をカメラマイクユニット１６が備えるマイク１６ｂに入力された音声の認識結果よりも優先して取り扱うようになっている。

またユーザは、方向キーＤＫ１〜ＤＫ４、ボタンＢ１〜Ｂ４、ＢＬ１、ＢＬ２、ＢＲ１、ＢＲ２を押下したり、操作スティックＳＬ、ＳＲを傾けたりすることで、コントローラ１８を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ１８は、操作入力に対応付けられる入力データを情報処理装置１２に出力する。

また、本実施形態に係るコントローラ１８は、ＵＳＢポートを備えている。コントローラ１８は、ＵＳＢケーブルで情報処理装置１２と接続することで、入出力部２６を介して有線で入力データを情報処理装置１２に出力することができる。また、本実施形態に係るコントローラ１８は、無線通信モジュール等を備えており、通信部２４を介して無線で入力データを情報処理装置１２に出力することができるようにもなっている。

図４は、本実施形態に係るディスプレイ１４に表示されるホーム画面３０の一例を示す図である。本実施形態では、ホーム画面３０において、ユーザは情報処理装置１２にインストールされているプログラムのうちのいずれかを選択できるようになっている。本実施形態では例えば、情報処理装置１２に８個のゲームプログラムがインストールされていることとする。

ホーム画面３０には、初期状態では、図４に示すようにそれぞれプログラムに対応付けられるプログラムアイコン画像３２（図４の例ではプログラムアイコン画像３２−１〜３２−５）が配置されている。図４に示すホーム画面３０には、情報処理装置１２にインストールされている８個のプログラムのうちの一部である５個のプログラムについてのプログラムアイコン画像３２が配置されている。そして当該プログラムアイコン画像３２のうちいずれかのプログラムアイコン画像３２、図４の例ではプログラムアイコン画像３２−１が、選択されている状態であることが示される。本実施形態では選択されている状態であるプログラムアイコン画像３２−１は、他のプログラムアイコン画像３２とは異なる態様で表示される。以下、選択されている状態となった選択肢を注目選択肢と呼ぶこととする。上述の例では、プログラムアイコン画像３２−１が注目選択肢である。

本実施形態では、図４に示すように、注目選択肢であるプログラムアイコン画像３２−１の右下に、当該プログラムアイコン画像３２−１に対応付けられるプログラムの名称を表す文字列が配置される。また、注目選択肢であるプログラムアイコン画像３２−１が他のプログラムアイコン画像３２（３２−２〜３２−５）よりも強調表示されている。具体的には、例えば、プログラムアイコン画像３２−１は他のプログラムアイコン画像３２（３２−２〜３２−５）よりもサイズが大きく、また、プログラムアイコン画像３２−１の周囲には枠が配置されている。本実施形態では、以上のことによって、プログラムアイコン画像３２−１が選択されている状態であること、すなわちプログラムアイコン画像３２−１が注目選択肢であることが示されている。なお、プログラムアイコン画像３２が注目選択肢であることを示す手法は図４に示すものには限定されない。

ここで、図４に示すホーム画面３０が表示されてから所定時間、例えば１０秒経過したとする。すると、ディスプレイ１４に表示されているホーム画面３０は、図５に示す状態となる。そして、ホーム画面３０は、所定時間間隔、例えば３秒間隔で、図５に示す状態と図６に示す状態とが切り替わる。図５に示す状態では、ホーム画面３０には、コントローラ１８による操作内容を案内するコントローラ操作案内画像３４が配置される。一方、図６に示す状態では、ホーム画面３０には、音声認識を開始するための音声を表す所与の情報が配置されたマジックワード案内画像３６が配置される。図６には、当該所与の情報の一例として、「音声認識開始」との語句が示されている。以下、音声認識を開始するための音声を表す所与の語句をマジックワードと呼ぶこととする。

このようにして本実施形態では、ホーム画面３０が表示されてから所定時間が経過すると、コントローラ１８でどのような操作をすればよいかと、どのような音声を入力すればよいかの両方がユーザに案内されることとなる。なお、本実施形態では、ユーザによる音声入力ができない場合には、ホーム画面３０はマジックワード案内画像３６が配置された状態には切り替わらない。例えば、カメラマイクユニット１６が情報処理装置１２と接続されておらず、コントローラ１８のジャックＪにマイクのプラグが差し込まれていない場合には、ホーム画面３０はマジックワード案内画像３６が配置された状態には切り替わらない。

ホーム画面３０が、図４、図５、又は、図６に示す状態となっている際に、情報処理装置１２がマジックワードを表す音声を受け付けた場合は、ホーム画面３０が図７に示す状態に切り替わる。また本実施形態では、ホーム画面３０が、図４、図５、又は、図６に示す状態となっている際に、所定の操作子に対する操作、例えばボタンＢＲ２の押下操作が行われた場合にも、ホーム画面３０は、図７に示す状態に切り替わる。図７に示す状態では、ホーム画面３０に、入力すべき音声をユーザに案内するための音声入力案内画像３８が配置されている。

本実施形態では、音声入力案内画像３８が配置されている状態にホーム画面３０がなった際には、ユーザが音声を入力すると、情報処理装置１２は、当該音声が表す情報を認識して、その認識結果に基づいて、当該音声が表すコマンドを特定する。そして、情報処理装置１２は、当該コマンドに応じた処理を実行する。以下、音声入力案内画像３８が画面に表示されて、音声入力によるコマンドの入力が可能となっている状態を、ボイスコマンド入力可能状態と呼ぶこととする。一方、音声入力案内画像３８が画面に表示されておらず、音声入力によるコマンドの入力が可能でない状態を、ボイスコマンド入力不可能状態と呼ぶこととする。上述のように本実施形態では、コントローラ１８による操作によってもマジックワードを音声入力することによっても情報処理装置１２をボイスコマンド入力可能状態とすることができるようになっている。なお、情報処理装置１２がボイスコマンド入力可能状態である間は、スピーカから出力される音の音量が小さくなるよう制御されても構わない。

そして本実施形態では、ボイスコマンド入力可能状態となってから、コントローラ１８による操作も音声入力も行われない状態が所定時間、例えば１０秒間経過したら、情報処理装置１２はボイスコマンド入力不可能状態となる。また、ボイスコマンド入力可能状態となってから、コントローラ１８による操作が行われた場合も同様に、情報処理装置１２はボイスコマンド入力不可能状態となる。図７に示すホーム画面３０がディスプレイ１４に表示されている場合に、情報処理装置１２はボイスコマンド入力不可能状態となった際には、表示されているホーム画面３０は図４に示すものに戻る。

ボイスコマンド入力可能状態では、受け付ける音声の音量が所定の音量の範囲内である場合に、受け付ける音声に応じたコマンドの特定が行われる。以下、受け付ける音声の音量が音量Ｌ以上音量Ｈ以下である場合に、受け付ける音声に応じたコマンドの特定が行われることとする。なお、現在に至る所定時間に受け付けた音量の平均値が、現在受け付けた音声の音量として取り扱われるようにしてもよい。図７に示す音声入力案内画像３８には、情報処理装置１２が受け付けている音声の音量が表現される音量画像４０が配置されている。当該音量画像４０は、例えば受け付けている音量に応じた態様でディスプレイ１４に表示される。具体的には、例えば、音声を受け付けていない場合には、音量画像４０の背景は黒色であり枠は青色である。そして、音声を受け付けた際に背景が青色になる。ここで、受け付ける音量が大きい程、音量画像４０の背景の青色が濃くなるようにしてもよい。

また本実施形態では、受け付ける音量が音量Ｈよりも大きい場合には、受け付ける音声に応じたコマンドの特定が行われない。そして本実施形態では、コマンドの特定が行われない状態であることが音量画像４０によって示される。具体的には例えば、受け付ける音量が音量Ｈよりも大きい場合に、音量画像４０の枠の色及び背景が赤色となる。このように、本実施形態に係る情報処理装置１２では、受け付ける音量に応じた態様で音量画像４０がディスプレイ１４に表示されるようにすることで、適切な音量でコマンドの音声入力を行うようユーザに促すことができるようになっている。なお以下の説明では、ユーザは上述の所定の音量の範囲内、例えば音量Ｌ以上音量Ｈ以下の音量で音声入力を行うこととする。

本実施形態では、図７に示す音声入力案内画像３８には、コマンドを示すコマンド情報ＣＩが少なくとも１つ配置されている。本実施形態では、コマンド情報ＣＩとしてコマンドを示す語句が配置される。なお、コマンド情報ＣＩとして語句の代わりにコマンドを象徴するアイコン画像などの他の情報が配置されても構わない。

コマンド情報ＣＩは、情報処理装置１２が受付可能なコマンドに対応付けられている。そして本実施形態では、コマンド情報ＣＩが表す音声がユーザにより入力されると、当該コマンド情報ＣＩに対応付けられるコマンドに応じた処理が実行されることとなる。

図７に示すホーム画面３０には４つのコマンド情報ＣＩが配置されている。本実施形態では、ホーム画面３０に配置されているコマンド情報ＣＩの左側にはコマンド識別画像ＣＩＰが配置されている。そして、当該コマンド識別画像ＣＩＰにより、ユーザは、その右側のコマンド情報ＣＩが表す音声を入力することで当該コマンド情報ＣＩに対応付けられるコマンドに応じた処理が実行されることを認識できることとなる。

また本実施形態では、コマンド情報ＣＩが表すコマンドには、コントローラ１８のボタン等の操作子が割り当てられている。そしてボタンを押下することで、当該ボタンに対応付けられるコマンドに応じた処理が実行されることとなる。このように、本実施形態では、コマンド情報ＣＩが表すコマンドに応じた処理は、操作子の操作によっても音声入力によっても実行することができるようになっている。

また本実施形態では、表示されているプログラムアイコン画像３２は、当該プログラムアイコン画像３２に対応付けられるプログラムの名称、略称、通称等の情報が少なくとも１つ関連付けられている。そして本実施形態では、プログラムの名称等を表す音声をユーザが音声入力すると、当該プログラムに対応付けられるプログラムアイコン画像３２が注目選択肢として特定される。ここで、入力された音声が複数のプログラムについての名称等を表している場合は、これら複数のプログラムのうちのいずれかに対応付けられるプログラムアイコン画像３２が注目選択肢として特定される。本実施形態では、図７に示すホーム画面３０が表示されている際に、情報処理装置１２が「ドラゴンゲーム」との語句を表す音声を受け付けると、ホーム画面３０は図８に示す状態に切り替わる。図８に示すホーム画面３０には、６つのプログラムアイコン画像３２（３２−３〜３２−８）が配置されている。プログラムアイコン画像３２−４が注目選択肢として特定された場合には、図８に示すように、ホーム画面３０において、プログラムアイコン画像３２−４が強調表示される。

また本実施形態では、入力された音声が複数のプログラムについての名称等を表している場合は、これら複数のプログラムに対応付けられるプログラムアイコン画像３２のうち、注目選択肢以外のプログラムアイコン画像３２のいずれかが代替選択肢として特定される。そして本実施形態では、代替選択肢に対応付けられるプログラムの名称が音声入力案内画像３８に配置される。図８の例では、音声入力案内画像３８に、プログラムアイコン画像３２−７に対応付けられるプログラムの名称を示す代替選択肢情報ＡＩが配置されている。図８の例では、「ドラゴンゲーム２」との名称が代替選択肢情報ＡＩに含まれている。

本実施形態では、注目選択肢及び代替選択肢の特定は、図９に示すプログラム管理データ及び図１０に示すコマンド管理データに基づいて行われる。

図９に示すように、プログラム管理データには、例えば、プログラムＩＤ、プログラム名称データ、ベンダ名称データ、ボイスコマンドデータ、最終プレイ日時データ、などが含まれる。プログラムＩＤは、プログラムの識別情報である。プログラム名称データは、当該プログラムの名称を示すデータである。ベンダ名称データは、当該プログラムを提供する提供者の名称を示すデータである。ボイスコマンドデータは、当該プログラムに対応するプログラムアイコン画像３２が注目選択肢又は代替選択肢として特定されるようにするためのコマンドを示す情報である。本実施形態では、プログラム毎に、例えばプログラムの名称、略称、通称などを示す少なくとも１つのボイスコマンドデータの値が設定可能となっている。図９には、第１ボイスコマンドデータの値、第２ボイスコマンドデータの値、及び、第３ボイスコマンドデータの値といった３個のボイスコマンドデータの値が設定されているプログラム管理データが一例として示されている。また、本実施形態では、ボイスコマンドデータの値として、受け付ける音声が表現された文字列が設定される。最終プレイ日時データは、当該プログラムが最後にプレイされた日時を示すデータである。

本実施形態では、プログラムに対応付けられるいずれかのボイスコマンドデータの値として、当該プログラムの名称が表現された文字列が設定されている。図９の例では、名称が「ドラゴンゲーム３」であるプログラム及び名称が「ドラゴンゲーム２」であるプログラムについて、第３ボイスコマンドデータの値として当該名称が表現された文字列が設定されている。

そして本実施形態では、図９に示すプログラム管理データに基づいて、図１０に示すコマンド管理データが生成される。コマンド管理データは、受け付ける音声と当該音声の受付に応じて実行される処理との関係を管理するデータである。コマンド管理データは、図１０に示すように、受け付ける音声を表すボイスコマンドデータと、当該音声の受付に応じて実行される処理を表す処理内容データと、が含まれている。図１０では、ボイスコマンドデータの値として、受け付ける音声が表現された文字列が示されている。

本実施形態では、プログラム管理データに設定されている、第１ボイスコマンドデータの値、第２ボイスコマンドデータの値、及び、第３ボイスコマンドデータの値が、コマンド管理データにおけるボイスコマンドデータの値として設定される。このように本実施形態では、コマンド管理データにおいて、１つのプログラムについて当該プログラムに対応付けられる３個のボイスコマンドデータが設定される。そして、コマンド管理データにおいて、プログラムに対応付けられる３個のボイスコマンドデータに関連付けられる処理内容データの値として、当該プログラムについての順位付けされた２つの処理を示すデータが設定される。図１０の例では、当該プログラムに対応付けられるプログラムアイコン画像３２を注目選択肢として特定する処理が１位の処理として、当該プログラムアイコン画像３２を代替選択肢として特定する処理が２位の処理として設定されている。

また本実施形態では、コマンド管理データにおいて、画面に配置されているコマンド情報ＣＩが表す音声が表現された文字列についても、ボイスコマンドデータの値として設定されている。そして、コマンド管理データにおいて、当該ボイスコマンドデータに関連付けられる処理内容データの値として、当該ボイスコマンドデータが表す音声を受け付けた際に実行される処理を示すデータが設定されている。

そして本実施形態では、コマンド管理データにおいて、受け付けた音声を表すボイスコマンドデータに関連付けられている処理内容データが示す処理が実行されることとなる。

例えば、図８に示すホーム画面３０がディスプレイ１４に表示されている際に、「はじめる」との語句を表す音声を情報処理装置１２が受け付けた際には、注目選択肢であるプログラムアイコン画像３２−４に対応付けられるプログラムの実行が開始される。また、「電源」との語句を表す音声を情報処理装置１２が受け付けた際には、電源制御画面４４（図１７参照）がディスプレイ１４に表示される。また「スクリーンショットを撮る」との語句を表す音声を情報処理装置１２が受け付けた際には、ホーム画面３０の表示内容を静止画像としてキャプチャしたキャプチャ画像が情報処理装置１２の記憶部２２に保存される。また「ログインする」との語句を表す音声を情報処理装置１２が受け付けた際には、ディスプレイ１４にはユーザの一覧が示された画面が表示される。そして、当該画面で情報処理装置１２に登録されているユーザの識別子を音声入力することで当該ユーザによるログインが行われる。

そして本実施形態では、図１０に示すように、コマンド管理データにおいて、同一の文字列を表す複数のボイスコマンドデータのそれぞれが、互いに異なる処理に関連付けられることがある。このようなボイスコマンドデータを、重複設定されているボイスコマンドデータと呼ぶこととする。例えば、図１０に示されている、値が「どらごんげいむ」であるボイスコマンドデータ及び値が「でぃいじい」であるボイスコマンドデータは、重複設定されているボイスコマンドデータである。

そして受け付けた音声が表すボイスコマンドデータが重複設定されているボイスコマンドデータである場合は、予め定められた基準に従って、プログラムの優先順位が決定される。

プログラムの優先順位を決定するにあたって、本実施形態ではまず、重複設定されているボイスコマンドデータのそれぞれに関連付けられている処理が特定される。そして当該処理において注目選択肢又は代替選択肢として特定されるプログラムアイコン画像３２に対応付けられるプログラムが特定される。例えば受け付けた音声が「どらごんげいむ」である場合は、名称がドラゴンゲーム３であるプログラムと名称がドラゴンゲーム２であるプログラムとが特定されることとなる。そして、特定されたプログラムのうち、最後に実行されたタイミングが最も遅いプログラムが１位のプログラム、２番目に遅いプログラムが２位のプログラムとして決定される。本実施形態では例えば、プログラム管理データにおける最終プレイ日時データが示す日時が最も新しいプログラムが１位のプログラム、２番目に新しいプログラムが２位のプログラムとして決定される。このようにして本実施形態ではプログラムの優先順位が決定される。なお、プログラムの優先順位の決定方法は上述のものには限定されない。

そして本実施形態では、１位のプログラムに対応付けられる処理内容データにおいて１位の処理として設定されている処理、及び、２位のプログラムに対応付けられる処理内容データにおいて２位の処理として設定されている処理が実行される。ここでは例えば、１位のプログラムに対応付けられるプログラムアイコン画像３２を注目選択肢として特定する処理、及び、２位のプログラムに対応付けられるプログラムアイコン画像３２を代替選択肢として特定する処理が実行される。なお本実施形態では、最後に実行されたタイミングが１位又は２位であるプログラムに対応付けられる処理が実行されるが、最後に実行されたタイミングが３位以下であるプログラムについては、当該プログラムに対応付けられる処理は実行されない。

例えば、受け付けた音声が「どらごんげいむ」又は「でぃいじい」を表す場合は、上述の基準に従って、プログラムアイコン画像３２−４が注目選択肢として、プログラムアイコン画像３２−７が代替選択肢として特定される。そして、本実施形態では、このようにして特定された注目選択肢及び代替選択肢に基づいて、図８に示すホーム画面３０が生成されて、ディスプレイ１４に表示されることとなる。

図８に示すホーム画面３０が表示されている際に、当該ホーム画面３０において代替選択肢情報ＡＩとして配置されている「ドラゴンゲーム２」との語句を表す音声を受け付けたとする。すると、図１０に示すコマンド管理データにおいて１つ存在する、値が「どらごんげいむつう」であるボイスコマンドデータが特定される。そして、コマンド管理データにおいて、特定されたボイスコマンドデータに１位の処理として関連付けられている、ドラゴンゲーム２に対応するプログラムアイコン画像３２−７を注目選択肢として特定する処理が実行されることとなる。そして、注目選択肢として特定されたプログラムアイコン画像３２−７が強調表示されたホーム画面３０が表示されることとなる。

例えば、ユーザが、注目選択肢に対応付けられるプログラムを実行したいわけではなく、代替選択肢に対応付けられるプログラムを実行したいことがある。具体的には例えば、ユーザが、「ドラゴンゲーム３」との名称のゲームよりも「ドラゴンゲーム２」との名称のゲームをプレイしたいことがある。このことに備え、本実施形態では、注目選択肢が選択されていることを表す情報と、受付に応じて代替選択肢が注目選択肢として特定される音声を表す情報である代替選択肢情報ＡＩと、が表示される。そして代替選択肢情報ＡＩが表す音声をユーザが入力すると当該代替選択肢が注目選択肢として特定されることとなる。そして注目選択肢として新たに特定されたプログラムアイコン画像３２が選択されている状態となる。このようにして本実施形態によれば、どのような音声を入力すれば代替選択肢が注目選択肢として特定されるのかがユーザに案内されることとなる。

また、本実施形態では、上述のように代替選択肢情報ＡＩとして、代替選択肢に関連付けられている複数のボイスコマンドデータの値のいずれかに対応付けられる音声を表す情報が配置されてもよい。またこのとき、注目選択肢に関連付けられているボイスコマンドデータの値とは異なる値に対応付けられる音声を表す情報が代替選択肢情報ＡＩとして配置されてもよい。こうすれば、代替選択肢情報ＡＩが表す音声をユーザが入力しても、現在の注目選択肢が再度、注目選択肢として特定されてしまうことを防ぐことができる。

また、最近実行されたプログラムに対応付けられる選択肢が注目選択肢又は代替選択肢として特定されてもよい。具体的には例えば、上述のように、それぞれプログラムに対応付けられる複数の選択肢のうち最後に実行されたタイミングが最も遅いプログラムに対応付けられる選択肢が注目選択肢として特定されてもよい。また、最後に実行されたタイミングが２番目に遅いプログラムに対応付けられる選択肢が代替選択肢として特定されてもよい。このようにすれば、最近実行されたプログラムであればあるほど、優先的に注目選択肢又は代替選択肢として特定される。一般的にユーザが実行したいプログラムは、最近実行したプログラムである傾向が強いので、このようにすれば、ユーザが実行したいプログラムに対応付けられる選択肢が注目選択肢又は代替選択肢として特定される可能性が高くなる。

なお、プログラムが最後に実行されたタイミング以外の、プログラムに関連付けられている属性の値に基づいて注目選択肢や代替選択肢が特定されても構わない。ここで例えば、プログラムに関連付けられている属性に基づいて、最も高い順位の選択肢として特定される選択肢が注目選択肢として特定され、２番目に高い順位であると特定される選択肢が代替選択肢として特定されても構わない。こうすれば、受け付ける音声を表すボイスコマンドデータに関連付けられる選択肢が複数存在する場合に、選択肢に関連付けられている属性の値によって、これらの選択肢のうちのどれを注目選択肢や代替選択肢として特定するかが決定されることとなる。

また、プログラムのユーザや提供者によって設定可能な属性の値に基づいて注目選択肢や代替選択肢が特定されても構わない。この場合は、プログラムのユーザや提供者が、受け付ける音声を表すボイスコマンドデータに関連付けられる選択肢が複数存在する場合に、これらの選択肢のうちのどれが注目選択肢や代替選択肢として特定されるかを制御できることとなる。

また、以上の説明では、受け付ける音声を表す情報に関連付けられている選択肢が代替選択肢として特定されていたが、例えば注目選択肢に関連付けられている選択肢が代替選択肢として特定されても構わない。具体的には例えば、特定された注目選択肢に応じてユーザにリコメンドされる選択肢として決定される選択肢が代替選択肢として特定されても構わない。ここで例えば、ユーザにリコメンドされる選択肢が複数存在する場合には、例えば選択肢に対応付けられるプログラムが最後に実行された日時などの属性の値に基づいて、当該複数の選択肢のうちから代替選択肢が特定されるようにしてもよい。また例えば、注目選択肢に対応付けられるプログラムと提供者が同じであるプログラムのいずれかに対応付けられる選択肢が、代替選択肢として特定されても構わない。このようにすれば、どのような音声を入力すれば、注目選択肢に関連付けられている選択肢が注目選択肢として特定されるのかがユーザに案内されることとなる。

また例えば、プログラムに対応付けられる選択肢に関連付けられている音声を表す情報であるボイスコマンドデータの値は、当該選択肢に対応付けられるプログラムの提供者により設定された情報であってもよい。こうすれば、例えばプログラムの提供者が、当該プログラムに関して一般的にユーザに用いられている略称等をボイスコマンドデータの値として設定して、当該プログラムが注目選択肢又は代替選択肢として選択されやすい状況を作り出すことができる。

図８に示すホーム画面３０が表示されている場合に「はじめる」との語句を表す音声を情報処理装置１２が受け付けた際には、選択状態であるプログラムアイコン画像３２−４に対応付けられるプログラムの実行が開始される。本実施形態では「ドラゴンゲーム３」という名称のゲームプログラムの実行が開始されることとなる。このとき、プログラム管理データにおける当該プログラムに対応付けられる最終プレイ日時データの値が現在日時に更新される。

図１１は、当該ゲームプログラムの実行時に生成されてディスプレイ１４に表示されるプレイ画面４２の一例を示す図である。図１１に示すプレイ画面４２が表示されている際には、情報処理装置１２はボイスコマンド入力不可能状態である。ここで例えば情報処理装置１２がマジックワードを受け付けると、情報処理装置１２はボイスコマンド入力可能状態に切り替わる。そしてプレイ画面４２は、図１２に示すように音声入力案内画像３８が配置される状態に切り替わる。図１２に示す音声入力案内画像３８には、ホーム画面３０に戻るコマンドを示すコマンド情報ＣＩが配置されている。当該コマンド情報ＣＩの左にはコマンド識別画像ＣＩＰが配置されている。

図１３は、図１２に示すプレイ画面４２が表示されている際におけるコマンド管理データの一例を示す図である。図１２に示すプレイ画面４２が表示されている際には、図１３に示すコマンド管理データに基づいて実行される処理が決定される。

そして図１２に示すプレイ画面４２が表示されている際に、情報処理装置１２が「ホーム画面」との語句を表す音声を受け付けると、表示されている画面は図１４に示すホーム画面３０に切り替わる。図１４に示すホーム画面３０に配置されている音声入力案内画像３８は、基本的に図７に示すものと同様である。ただし、図１４に示す音声入力案内画像３８には、コマンドを表す語句が「ゲームに戻る」である、プレイ画面４２に戻るコマンドを示すコマンド情報ＣＩがさらに追加されている。ここで例えば情報処理装置１２が「ゲームに戻る」との語句を表す音声を受け付けると、ディスプレイ１４に表示されているホーム画面３０は、プレイ画面４２に切り替わる。なお、図１４に示すホーム画面３０が表示されている際に実行可能なその他のコマンドに応じた処理については、図７に示すホーム画面３０が表示されている場合と同様の音声入力によって実行可能である。

また図１２に示すプレイ画面４２が表示されている場合に「スクリーンショットを撮る」との語句を表す音声を情報処理装置１２が受け付けた際には、プレイ画面４２の表示内容をキャプチャしたキャプチャ画像が情報処理装置１２の記憶部２２に保存される。キャプチャ画像が記憶部２２に保存されると、図１５に示すように、保存されたことを示すキャプチャ完了画像ＣＣＰが右上に配置されたプレイ画面４２が所定時間表示される。そして、情報処理装置１２は、ボイスコマンド入力不可能状態に切り替わる。また、「ログインする」との語句を表す音声を情報処理装置１２が受け付けた際には、ディスプレイ１４にはユーザの一覧が示された画面が表示される。これらの処理については、図１３に示すコマンド管理データに設定されている。このように本実施形態では、対応するコマンド情報ＣＩが表示されていないコマンドに応じた処理のなかに、音声入力により実行可能なものがある。

例えばプレイ画面４２内において、図７や図１４に示すホーム画面３０内における位置と同様の位置にコマンド情報ＣＩが配置されるようにしたとする。そうすると、例えば図１１に示すようにプレイ画面４２の下側にプレイヤのオブジェクト等が配置されているような場合にはゲームをプレイしているユーザの邪魔になることがある。本実施形態では以上説明したように、情報処理装置１２は、表示内容に応じた画面内の位置にコマンド情報ＣＩを配置する。具体的には例えば、音声入力案内画像３８が、ホーム画面３０では下側に配置されるがプレイ画面４２では右上側に配置される。このようにして、本実施形態では、画面に配置されるコマンド情報ＣＩがゲームをプレイするユーザの邪魔になるおそれが低減できることとなる。

また本実施形態では、情報処理装置１２は、画面の表示内容に応じた大きさの画面内の領域の表示内容を音声入力案内画像３８によって隠す。具体的には例えば、ゲームのプレイ画面４２が表示されている際には、プレイするゲームを選択するホーム画面３０が表示されている際よりも小さな画面内の領域の表示内容を隠して当該領域にコマンド情報ＣＩを配置する。このようにして、本実施形態ではコマンド情報ＣＩがユーザにとって見やすいものとなるようにしつつ、画面に配置されるコマンド情報ＣＩがユーザの邪魔になるおそれが従来よりも低減できることとなる。

また本実施形態では、情報処理装置１２は、画面の表示内容に応じて、特定のコマンドについては当該コマンドに対応するコマンド情報ＣＩを配置するか否かを制御する。具体的には、例えば、画面の表示内容をキャプチャしたキャプチャ画像を保存するコマンドを示すコマンド情報ＣＩについては、図７や図１４に示すホーム画面３０には配置されるが図１２に示すプレイ画面４２には配置されない。しかし、図１２に示すプレイ画面４２が表示されている場合でも、情報処理装置１２は、「スクリーンショットを撮る」との語句を表す音声を受け付けた際には、プレイ画面４２の表示内容をキャプチャしたキャプチャ画像を保存する処理を実行する。以上のように例えばコマンド情報ＣＩが配置される領域ができるだけ小さい方が望ましい場合などに、音声入力による受付が可能なコマンドの一部についてのコマンド情報ＣＩが表示されないようにしてもよい。このようにしてコマンド情報ＣＩが配置される領域の大きさが節約されるようにすれば、画面に配置されるコマンド情報ＣＩがユーザの邪魔になるおそれがさらに低減できることとなる。

また、情報処理装置１２は、複数のコマンド情報ＣＩのそれぞれについて、画面の表示内容に応じて、当該コマンド情報を配置するか否かを制御するようにしてもよい。例えば図１６に示すように、画面の表示内容によっては、ホーム画面３０に戻るコマンドを示すコマンド情報ＣＩの代わりに、画面の表示内容をキャプチャしたキャプチャ画像を保存するコマンドを示すコマンド情報ＣＩが画面に配置されるようにしてもよい。図１６には、一例としてゲームにおいてドラゴンを倒した場面が示されている。このような場面では、ユーザはキャプチャ画像を保存したくなる可能性が高い。そこでこのような場面では、画面の表示内容をキャプチャしたキャプチャ画像を保存するコマンドを示すコマンド情報ＣＩが画面に配置されるようにしてもよい。

そして、図１６に示すプレイ画面４２が表示されている場合に、「スクリーンショットを撮る」との語句を表す音声を情報処理装置１２が受け付けた際には、プレイ画面４２の表示内容をキャプチャしたキャプチャ画像が記憶部２２に保存されるようにしてもよい。また、「ホーム画面」との語句を表す音声を受け付けた際には、表示されている画面が図１４に示すホーム画面３０に切り替わるようにしてもよい。

本実施形態では、上述のように、図７、図８、又は、図１４に示すホーム画面３０が表示されている場合に、「電源」との語句を表す音声を情報処理装置１２が受け付けた際には、図１７に示す電源制御画面４４がディスプレイ１４に表示される。図１７に示す電源制御画面４４が表示されても、情報処理装置１２はボイスコマンド入力可能状態のままである。

図１７に示す電源制御画面４４には、４つのコマンド情報ＣＩが配置された音声入力案内画像３８が配置されている。これらのコマンド情報ＣＩの左側には、コマンド識別画像ＣＩＰが配置されている。また、電源制御画面４４には、音声入力案内画像３８に配置されたコマンド情報ＣＩ以外にも、ログアウトするコマンド、スタンバイモードにするコマンド、電源を切るコマンドそれぞれに対応するコマンド情報ＣＩが配置されている。そして、スタンバイモードにするコマンドに対応するコマンド情報ＣＩと電源を切るコマンドそれぞれに対応するコマンド情報ＣＩの左側には、コマンド識別画像ＣＩＰが配置されている。

ここで、「スタンバイモードにする」との語句を表す音声を情報処理装置１２が受け付けた際には、情報処理装置１２はスタンバイモードとなる。また、「電源を切る」との語句を表す音声を情報処理装置１２が受け付けた際には、情報処理装置１２はその電源を切る。このようにして本実施形態では、音声入力によって情報処理装置１２の電源を切ることができるようになっている。

なお、本実施形態では、ログアウトする処理については音声入力により行うことはできないようになっている。このことは、ログアウトするコマンドを示すコマンド情報ＣＩの左側にコマンド識別画像ＣＩＰが配置されていないことからユーザが認識できるようになっている。

また、図１７に示す電源制御画面４４が表示されている場合に、コントローラ１８による操作が行われた際には、情報処理装置１２はボイスコマンド入力不可能状態となり、表示されている電源制御画面４４は図１８に示す状態に切り替わる。図１８に示す電源制御画面４４には、音声入力案内画像３８が配置されていない。また、スタンバイモードにするコマンドに対応するコマンド情報ＣＩと、電源を切るコマンドそれぞれに対応するコマンド情報ＣＩの左側に配置されていたコマンド識別画像ＣＩＰは消去されている。そして、一番上に配置されている、ログアウトするコマンドを示すコマンド情報ＣＩの周囲には、選択状態であることを示す枠が配置されている。ここで、ユーザがコントローラ１８を操作することで、図１８に示されている３個のコマンド情報ＣＩのそれぞれに対応するコマンドのうちから、実行される処理に対応するコマンドを選択することができるようになっている。そして、所定の操作、例えばボタンＢ１を押下する操作が行われると、選択状態であるコマンド情報ＣＩに対応するコマンドに応じた処理が実行される。

以上の説明では、音声入力によって表示内容をキャプチャしたキャプチャ画像が静止画像として記憶部２２に保存される例について説明したが、情報処理装置１２において音声入力によって表示内容をキャプチャした動画像が保存可能であってもよい。具体的には例えば、「録画開始」との語句を表す音声を情報処理装置１２が受け付けた際には、画面のキャプチャを開始し、「録画終了」との語句を表す音声を情報処理装置１２が受け付けた際には、画面のキャプチャを終了してもよい。そして、情報処理装置１２は、キャプチャ開始からキャプチャ終了までの間にキャプチャした一連の画像から構成される動画像をキャプチャ動画像として情報処理装置１２の記憶部２２に保存してもよい。

また本実施形態では、情報処理装置１２において予め定められた複数の言語のうちのいずれかをシステム言語として設定することができるようになっている。しかし、当該複数の言語のうちの一部は、本実施形態における音声認識に対応していない。本実施形態では、このような音声認識に対応していない言語がシステム言語として設定された際には、当該言語が音声認識に対応していない旨がディスプレイ１４に表示されることとなる。また、この場合、当該言語に代替する言語、例えば英語が音声認識用の言語として設定される。そして、音声入力による受付が可能なコマンドを示すコマンド情報ＣＩは音声認識用の言語として設定された言語で表示されることとなる。

以下、コマンド情報ＣＩの配置制御及び注目選択肢や代替選択肢の特定処理についてさらに説明する。

図１９は、本実施形態に係る情報処理装置１２で実装される、コマンド情報ＣＩの配置制御及び注目選択肢や代替選択肢の特定処理に関する機能の一例を示す機能ブロック図である。なお、本実施形態に係る情報処理装置１２で、図１９に示す機能のすべてが実装される必要はなく、また、図１９に示す機能以外の機能が実装されていても構わない。

本実施形態に係る情報処理装置１２は、図１９に示すように、機能的には例えば、プログラム管理データ記憶部５０、コマンド管理データ記憶部５２、操作受付部５４、音声受付部５６、ボイスコマンド特定部５８、選択肢特定部６０、コマンド特定部６２、処理実行部６４、配置決定規則データ記憶部６６、コマンド情報配置部６８、画面生成部７０、コマンド管理部７２、表示制御部７４、を含んでいる。プログラム管理データ記憶部５０、コマンド管理データ記憶部５２、配置決定規則データ記憶部６６は、記憶部２２を主として実装される。音声受付部５６は、入出力部２６を主として実装される。操作受付部５４は、通信部２４又は入出力部２６を主として実装される。表示制御部７４は、入出力部２６を主として実装される。その他の機能は、制御部２０を主として実装される。

そして、以上の機能は、コンピュータである情報処理装置１２にインストールされた、以上の機能に対応する指令を含むプログラムを制御部２０で実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどの通信手段を介して情報処理装置１２に供給される。

プログラム管理データ記憶部５０は、図９に例示するプログラム管理データを記憶する。

コマンド管理データ記憶部５２は、図１０及び図１３に例示するコマンド管理データを記憶する。そして後述のコマンド管理部７２が、実行された処理や画面の表示内容に応じて、画面の表示内容に応じてコマンド管理データを更新する。例えば、ホーム画面３０が表示されている際には、コマンド管理データ記憶部５２には図１０に例示するコマンド管理データが記憶される。一方、プレイ画面４２が表示されている際には、コマンド管理データ記憶部５２には図１３に例示するコマンド管理データが記憶される。

操作受付部５４は、コントローラ１８に対する操作を受け付ける。本実施形態では操作受付部５４は、例えば押下されたボタンを表す信号等を受け付ける。

音声受付部５６は、音声を受け付ける。音声受付部５６は、本実施形態では例えば、ユーザによりマイク１６ｂに入力される音声を受け付ける。

ボイスコマンド特定部５８は、コマンド管理データにおける、音声受付部５６が受け付ける音声が表すボイスコマンドデータを特定する。ボイスコマンド特定部５８は、本実施形態では、音声受付部５６が受け付けた音声に基づいてボイスコマンドデータを特定するにあたって、公知の音声認識処理技術により、受け付けた音声が表す情報を特定する。本実施形態では例えば、所定の音量の範囲内、例えば上述の音量Ｌ以上音量Ｈ以下の範囲内である音声を受け付けた際に、ボイスコマンド特定部５８は、当該タイミングをボイスコマンド特定の開始タイミングとして特定する。そして、音量Ｌより小さな音声を所定時間だけ継続して受け付けた際に、ボイスコマンド特定部５８は、当該タイミングをボイスコマンド特定の終了タイミングとして特定する。そして、ボイスコマンド特定部５８は、ボイスコマンド特定の開始タイミングから終了タイミングまでに受け付けた音声の認識結果と完全一致する値のボイスコマンドデータを特定する。なお、ボイスコマンド特定部５８は、音声の認識結果と部分一致又は完全一致する値のボイスコマンドデータを特定するようにしてもよい。なお、ボイスコマンド特定部５８は、コマンドの特定が開始されたタイミングで、特定されるボイスコマンドデータの候補を絞り込む処理を開始してもよい。そして、ボイスコマンド特定部５８は、コマンド特定の終了タイミングが特定された際に、特定されるボイスコマンドデータを確定するようにしてもよい。また、受け付けた音声の音量が音量Ｈより大きい場合には、ボイスコマンドデータの特定は行われない。なお、ボイスコマンドデータは音素列によって表現されても構わない。そして、ボイスコマンド特定部５８は、音声受付部５６が受け付ける音声を音素に分解して、当該音声に対応付けられる音素列を示すボイスコマンドデータを特定するようにしてもよい。また、本実施形態に係るボイスコマンド特定部５８は、音声受付部５６を通じて取得される音声データから、特定の音声コマンド、ここでは例えばマジックワードを認識する音声コマンド認識部としての役割を担う。

上述のように、ボイスコマンド特定部５８は、重複設定されているボイスコマンドデータを特定する場合がある。

選択肢特定部６０は、音声受付部５６による音声の受付に応じて、複数の選択肢、本実施形態では例えば複数のプログラムアイコン画像３２のうちから、注目選択肢及び代替選択肢を特定する。選択肢特定部６０は、ボイスコマンド特定部５８により複数のボイスコマンドデータが特定された際に、上述のようにして、これら複数のボイスコマンドデータに関連付けられるプログラムアイコン画像３２のうちから注目選択肢と代替選択肢とを特定する。ここで選択肢特定部６０は、選択肢に関連付けられている属性の値、例えば選択肢に対応付けられるプログラムが実行されたタイミングに基づいて、注目選択肢と代替選択肢とを特定してもよい。また選択肢特定部６０は、例えばユーザにレコメンドする選択肢などといった、注目選択肢に関連付けられている選択肢を代替選択肢として特定してもよい。

コマンド特定部６２は、音声受付部５６が受け付ける音声、又は、操作受付部５４が受け付けるに基づいて、実行される処理に対応付けられるコマンドを特定する。ここでいうコマンドとは、コマンド情報ＣＩに対応付けられるコマンドに限定されず、例えば、情報処理装置１２をボイスコマンド入力不可能状態からボイスコマンド入力可能状態に変更するコマンドなども含まれる。

処理実行部６４は、コマンド特定部６２が特定するコマンドに応じた処理等の各種処理を実行する。処理実行部６４は、例えば、音声受付部５６が受け付ける音声がコマンド情報ＣＩを表す場合に、当該コマンド情報が示すコマンドに応じた処理を実行する。また処理実行部６４が、例えば実行中のプログラムの実行状況に応じた処理を実行してもよい。

配置決定規則データ記憶部６６は、画面に配置されるコマンド情報ＣＩの位置、大きさ、内容を決定するための配置決定規則データを記憶する。図２０は、配置決定規則データの一例を模式的に示す図である。図２０に示す配置決定規則データにおいては、画面の表示内容に、当該画面に配置される音声入力案内画像３８の位置、大きさ、当該音声入力案内画像３８に配置されるコマンド情報ＣＩの内容が関連付けられている。

コマンド情報配置部６８は、コマンド情報ＣＩを、画面の表示内容に応じた当該画面内の位置に配置する。コマンド情報配置部６８は、本実施形態では例えば、画面の表示内容と、配置決定規則データと、に基づいて、コマンド情報ＣＩが配置された音声入力案内画像３８の配置を決定する。

なお、コマンド情報配置部６８は、上述のように、画面の表示内容に応じて、コマンド情報ＣＩを配置するか否かを制御してもよい。この場合、処理実行部６４が、対応するコマンド情報ＣＩが配置されているか否かに関わらず、音声受付部５６が受け付ける音声を表すボイスコマンドデータが存在する場合に、ボイスコマンドデータに関連付けられている処理を実行してもよい。また、コマンド情報配置部６８は、複数のボイスコマンドデータに対応付けられるコマンド情報ＣＩのそれぞれについて、画面の表示内容に応じて、当該コマンド情報ＣＩを配置するか否かを制御してもよい。この場合、音声受付部５６が受け付ける音声が複数のコマンド情報ＣＩのいずれかを表す場合に、当該コマンド情報ＣＩが示すコマンドに応じた処理を実行してもよい。

また、コマンド情報配置部６８は、上述のように、画面の表示内容に応じた大きさの画面内の領域の表示内容を隠して当該領域にコマンド情報ＣＩを配置してもよい。また、コマンド情報配置部６８は、プレイ画面４２が表示されている際には、ホーム画面３０が表示されている際よりも小さな画面内の領域の表示内容を隠して当該領域にコマンド情報ＣＩを配置してもよい。

画面生成部７０は、表示される画面、例えばホーム画面３０やプレイ画面４２を生成する。本実施形態では、画面生成部７０は、所定のフレームレートで画面を生成する。画面生成部７０は、コマンド情報配置部６８が決定した配置に従ってコマンド情報ＣＩが配置された画面を生成する。また画面生成部７０は、選択肢特定部６０が注目選択肢及び代替選択肢を特定した際には、当該注目選択肢が強調表示され、代替選択肢に対応付けられる名称を示す代替選択肢情報ＡＩが配置されたホーム画面３０を生成する。

コマンド管理部７２は、処理実行部６４が実行する処理や画面生成部７０が生成する画面等に応じて、コマンド管理データ記憶部５２に記憶されているコマンド管理データを更新する。

表示制御部７４は、画面生成部７０が生成した画面を示すデータをディスプレイ１４に出力する。本実施形態では、表示制御部７４は、画面生成部７０が所定のフレームレートで画面を生成する度に、当該画面を示すデータをディスプレイ１４に出力する。ディスプレイ１４は当該データに応じた画面を表示する。このようにして本実施形態では、所定のフレームレートでディスプレイ１４に画面が表示されることとなる。

本実施形態では、選択肢特定部６０が注目選択肢及び代替選択肢を特定した際には、表示制御部７４は、例えば、注目選択肢が選択されていることを表す情報と、音声受付部５６による受付に応じて選択肢特定部６０により代替選択肢が注目選択肢として特定される音声を表す情報と、を表示させる。具体的には、表示制御部７４は、例えば、注目選択肢を他の選択肢よりも大きく表示させることで注目選択肢が選択されていることを表す情報を表示させる。また、表示制御部７４は、代替選択肢に対応付けられる名称を示す代替選択肢情報ＡＩを表示させる。

また、表示制御部７４は、第１画面で、マジックワード等の特定の音声コマンドが認識された場合、１以上の音声コマンドを含む第１のメニューを表示させ、第２画面で、当該音声コマンドが認識された場合、１以上の音声コマンドを含む第２のメニューを表示させる。本実施形態では、上述の第１画面は例えばホーム画面３０に相当し、上述の第２画面は例えばプレイ画面４２などといった、実行中のアプリケーションプログラムプログラムによって生成される画面に相当する。そして上述の第１のメニューは例えばホーム画面３０に配置されたコマンド情報ＣＩに相当し、上述の第２のメニューは例えばプレイ画面４２に配置されたコマンド情報ＣＩに相当する。なお、第１画面が、システムメニューが表示されるシステムメニュー画面であっても構わない。

そして本実施形態では、上述のように、第１のメニューと第２のメニューとではコマンド情報ＣＩが表示される位置が異なる。また、第２のメニューは、第１のメニューのサブセットであってもよい。例えば、図１６のプレイ画面４２に示されているコマンド情報ＣＩは、図１４に示すホーム画面３０に示されているコマンド情報ＣＩのサブセットである。そして上述のように、第１のメニュー又は第２のメニューに、画面の表示内容をキャプチャするコマンドが含まれていてもよい。

ここで、ボイスコマンド特定部５８が受け付ける音声に基づいて少なくとも１つのボイスコマンドデータを特定したことをトリガとして、本実施形態に係る情報処理装置１２で行われる処理の流れの一例を、図２１に示すフロー図を参照しながら説明する。

まず、ボイスコマンド特定部５８がボイスコマンドデータを特定すると、選択肢特定部６０は、コマンド管理データにおいて、当該ボイスコマンドデータが重複設定されているボイスコマンドデータであるか否かを確認する（Ｓ１０１）。重複設定されているボイスコマンドデータである場合は（Ｓ１０１：Ｙ）、選択肢特定部６０が、予め定められた基準に従って注目選択肢及び代替選択肢を特定する（Ｓ１０２）。Ｓ１０２に示す処理における処理の流れの一具体例については図２２で説明する。重複設定されているボイスコマンドデータではない場合（Ｓ１０１：Ｎ）、又は、Ｓ１０２に示す処理で選択肢が特定された場合は、コマンド特定部６２が、実行の対象となる処理に対応するコマンドを特定する（Ｓ１０３）。そして、処理実行部６４が、Ｓ１０３に示す処理で特定されるコマンドに応じた処理を実行する（Ｓ１０４）。

そして、コマンド情報配置部６８が、Ｓ１０４に示す処理における、コマンドに応じた処理の実行結果に応じて生成される画面内における、音声入力案内画像３８の位置、大きさ、及び、内容を決定する（Ｓ１０５）。そして、画面生成部７０が、Ｓ１０４に示す処理におけるコマンドの実行結果、及び、Ｓ１０５に示す処理で決定される音声入力案内画像３８の位置、大きさ、及び、内容に基づいて、表示される画面を生成する（Ｓ１０６）。そして、コマンド管理部７２が、Ｓ１０４に示す処理の実行結果及び、Ｓ１０６に示す処理で生成される画面に基づいて、コマンド管理データ記憶部５２に記憶されているコマンド管理データを更新する（Ｓ１０７）。そして、表示制御部７４が、Ｓ１０７に示す処理で生成された画面を示すデータをディスプレイ１４に出力して（Ｓ１０８）、本処理例に示す処理を終了する。

次に、上述のＳ１０２に示す処理における処理の流れの一具体例を、図２２に示すフロー図を参照しながら説明する。

まず、選択肢特定部６０が、重複設定されているボイスコマンドデータのそれぞれに関連付けられているプログラムを特定する（Ｓ２０１）。ここでは例えば、図１０に示すコマンド管理データの処理内容データにおいて、注目選択肢や代替選択肢として設定される対象となることが示されているプログラムアイコン画像３２に対応付けられるプログラムが特定される。そして、選択肢特定部６０は、Ｓ２０１に示す処理で特定されるプログラムのそれぞれに関連付けられている属性の値を特定する（Ｓ２０２）。本処理例では、例えば、プログラム管理データにおいて、当該プログラムについての最終プレイ日時データの値が特定される。

そして、選択肢特定部６０は、Ｓ２０２に示す処理で特定された属性の値に基づいて、注目選択肢及び代替選択肢となるプログラムアイコン画像３２を特定して（Ｓ２０３）、本処理例に示す処理を終了する。ここでは、例えば上述のように、最後に実行されたタイミングが最も遅いプログラムに対応付けられるプログラムアイコン画像３２が注目選択肢として特定され、２番目に遅いプログラムに対応付けられるプログラムアイコン画像３２が代替選択肢として特定される。

以上のようにして注目選択肢及び代替選択肢が特定された際には、Ｓ１０６に示す処理において、画面生成部７０が、当該注目選択肢が強調表示され、代替選択肢に対応付けられる名称を示す代替選択肢情報ＡＩが配置されたホーム画面３０を生成する。

なお、本発明は上述の実施形態に限定されるものではない。

例えば、情報処理装置１２が、カメラ１６ａやマイク１６ｂを備えた携帯型ゲーム装置であってもよい。また、情報処理装置１２は、パーソナルコンピュータ、タブレット端末、スマートフォン、などであっても構わない。また、情報処理装置１２、ディスプレイ１４、カメラマイクユニット１６、の役割分担は上述のものに限定されない。また、情報処理装置１２が複数の筐体から構成されていてもよい。

また、上記の具体的な文字列や図面中の具体的な文字列は例示であり、これらの文字列には限定されない。

１０ 情報処理システム、１２ 情報処理装置、１４ ディスプレイ、１６ カメラマイクユニット、１６ａ カメラ、１６ｂ マイク、１８ コントローラ、２０ 制御部、２２ 記憶部、２４ 通信部、２６ 入出力部、３０ ホーム画面、３２ プログラムアイコン画像、３４ コントローラ操作案内画像、３６ マジックワード案内画像、３８ 音声入力案内画像、４０ 音量画像、４２ プレイ画面、４４ 電源制御画面、５０ プログラム管理データ記憶部、５２ コマンド管理データ記憶部、５４ 操作受付部、５６ 音声受付部、５８ ボイスコマンド特定部、６０ 選択肢特定部、６２ コマンド特定部、６４ 処理実行部、６６ 配置決定規則データ記憶部、６８ コマンド情報配置部、７０ 画面生成部、７２ コマンド管理部、７４ 表示制御部。

Claims (12)

1. 音声を受け付ける音声受付部と、
   それぞれボイスコマンドに関連付けられている、第１の選択肢又は第２の選択肢のうちから、前記音声受付部による音声の受付に応じて、受け付けた音声を表すボイスコマンドに関連付けられている選択肢を特定する選択肢特定部と、を含み、
   前記第１の選択肢には、複数の第１のボイスコマンドが関連付けられており、
   前記第２の選択肢には、複数の第２のボイスコマンドが関連付けられており、
   前記複数の第１のボイスコマンドのうちの一部のそれぞれは、前記複数の第２のボイスコマンドのうちのいずれかと同じであり、
   前記選択肢特定部は、前記音声受付部による音声の受付に応じて、前記複数の第１のボイスコマンド及び前記複数の第２のボイスコマンドのすべてについて、受け付けた音声が表すボイスコマンドであるか否かを特定することで、受け付けた音声を表すボイスコマンドに関連付けられている選択肢を特定し、
   前記選択肢特定部は、受け付けた音声を表すボイスコマンドが前記複数の第１のボイスコマンドのうちのいずれかでも前記複数の第２のボイスコマンドのうちのいずれかでもある場合に、予め決められた基準に従って選択される、前記第１の選択肢又は前記第２の選択肢の一方を第１種の注目選択肢として特定し、他方を代替選択肢として特定し、
   前記選択肢特定部は、受け付けた音声を表すボイスコマンドが前記複数の第１のボイスコマンドのうちのいずれかであり前記複数の第２のボイスコマンドのうちのいずれでもない場合に、前記第１の選択肢を第２種の注目選択肢として特定し、
   前記選択肢特定部は、受け付けた音声を表すボイスコマンドが前記複数の第２のボイスコマンドのうちのいずれかであり前記複数の第１のボイスコマンドのうちのいずれでもない場合に、前記第２の選択肢を第２種の注目選択肢として特定し、
   前記第１種又は第２種の注目選択肢が選択されていることを表す情報を表示させる表示制御部、をさらに含み、
   前記表示制御部は、前記選択肢特定部が前記第１種の注目選択肢及び前記代替選択肢を特定した場合は、当該第１種の注目選択肢に関連付けられているボイスコマンドとは異なるボイスコマンドである、前記音声受付部による受付に応じて前記選択肢特定部により前記代替選択肢が前記第２種の注目選択肢として特定される音声を表すボイスコマンド、をさらに表示させる、
   ことを特徴とする表示制御装置。
2. 前記選択肢特定部は、受け付けた音声を表すボイスコマンドに関連付けられている選択肢が複数存在する場合に、当該複数の選択肢のそれぞれに関連付けられている属性の値に基づいて前記第１種の注目選択肢を特定する、
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記選択肢特定部は、複数の選択肢のそれぞれに関連付けられている属性の値に基づいて、最も高い順位の選択肢として特定される選択肢を前記第１種の注目選択肢として特定し、２番目に高い順位であると特定される選択肢を前記代替選択肢として特定する、
   ことを特徴とする請求項２に記載の表示制御装置。
4. 前記属性の値は、前記選択肢に対応付けられるプログラムが実行されたタイミングを示す値である、
   ことを特徴とする請求項２又は３に記載の表示制御装置。
5. 前記選択肢特定部は、それぞれプログラムに対応付けられる複数の選択肢のうち最後に実行されたタイミングが最も遅いプログラムに対応付けられる選択肢を前記第１種の注目選択肢として特定する、
   ことを特徴とする請求項１に記載の表示制御装置。
6. 前記選択肢特定部は、最後に実行されたタイミングが２番目に遅いプログラムに対応付けられる選択肢を前記代替選択肢として特定する、
   ことを特徴とする請求項５に記載の表示制御装置。
7. 前記選択肢特定部は、前記第１種の注目選択肢に関連付けられている選択肢を前記代替選択肢として特定する、
   ことを特徴とする請求項１から６のいずれか一項に記載の表示制御装置。
8. プログラムに対応付けられる前記選択肢に関連付けられている音声を表すボイスコマンドは、当該選択肢に対応付けられるプログラムの提供者により設定されたボイスコマンドである、
   ことを特徴とする請求項１から７のいずれか一項に記載の表示制御装置。
9. 前記表示制御部は、前記注目選択肢を他の選択肢よりも大きく表示させることで前記注目選択肢が選択されていることを表す情報を表示させる、
   ことを特徴とする請求項１から８のいずれか一項に記載の表示制御装置。
10. 音声を受け付ける音声受付ステップと、
    それぞれボイスコマンドに関連付けられている、第１の選択肢又は第２の選択肢のうちから、前記音声受付ステップでの音声の受付に応じて、受け付けた音声を表すボイスコマンドに関連付けられている選択肢を特定する選択肢特定ステップと、を含み、
    前記第１の選択肢には、複数の第１のボイスコマンドが関連付けられており、
    前記第２の選択肢には、複数の第２のボイスコマンドが関連付けられており、
    前記複数の第１のボイスコマンドのうちの一部のそれぞれは、前記複数の第２のボイスコマンドのうちのいずれかと同じであり、
    前記選択肢特定ステップでは、前記音声受付ステップでの音声の受付に応じて、前記複数の第１のボイスコマンド及び前記複数の第２のボイスコマンドのすべてについて、受け付けた音声が表すボイスコマンドであるか否かを特定することで、受け付けた音声を表すボイスコマンドに関連付けられている選択肢を特定し、
    前記選択肢特定ステップでは、受け付けた音声を表すボイスコマンドが前記複数の第１のボイスコマンドのうちのいずれかでも前記複数の第２のボイスコマンドのうちのいずれかでもある場合に、予め決められた基準に従って選択される、前記第１の選択肢又は前記第２の選択肢の一方を第１種の注目選択肢として特定し、他方を代替選択肢として特定し、
    前記選択肢特定ステップでは、受け付けた音声を表すボイスコマンドが前記複数の第１のボイスコマンドのうちのいずれかであり前記複数の第２のボイスコマンドのうちのいずれでもない場合に、前記第１の選択肢を第２種の注目選択肢として特定し、
    前記選択肢特定ステップでは、受け付けた音声を表すボイスコマンドが前記複数の第２のボイスコマンドのうちのいずれかであり前記複数の第１のボイスコマンドのうちのいずれでもない場合に、前記第２の選択肢を第２種の注目選択肢として特定し、
    前記第１種又は第２種の注目選択肢が選択されていることを表す情報を表示させる表示制御ステップ、をさらに含み、
    前記表示制御ステップでは、前記選択肢特定ステップで前記第１種の注目選択肢及び前記代替選択肢を特定した場合は、当該第１種の注目選択肢に関連付けられているボイスコマンドとは異なるボイスコマンドである、前記音声受付ステップでの受付に応じて前記選択肢特定ステップで前記代替選択肢が前記第２種の注目選択肢として特定される音声を表すボイスコマンド、をさらに表示させる、
    ことを特徴とする表示制御方法。
11. 音声を受け付ける音声受付手順、
    それぞれボイスコマンドに関連付けられている、第１の選択肢又は第２の選択肢のうちから、前記音声受付手順での音声の受付に応じて、受け付けた音声を表すボイスコマンドに関連付けられている選択肢を特定する選択肢特定手順、をコンピュータに実行させ、
    前記第１の選択肢には、複数の第１のボイスコマンドが関連付けられており、
    前記第２の選択肢には、複数の第２のボイスコマンドが関連付けられており、
    前記複数の第１のボイスコマンドのうちの一部のそれぞれは、前記複数の第２のボイスコマンドのうちのいずれかと同じであり、
    前記選択肢特定手順では、前記音声受付手順での音声の受付に応じて、前記複数の第１のボイスコマンド及び前記複数の第２のボイスコマンドのすべてについて、受け付けた音声が表すボイスコマンドであるか否かを特定することで、受け付けた音声を表すボイスコマンドに関連付けられている選択肢を特定し、
    前記選択肢特定手順では、受け付けた音声を表すボイスコマンドが前記複数の第１のボイスコマンドのうちのいずれかでも前記複数の第２のボイスコマンドのうちのいずれかでもある場合に、予め決められた基準に従って選択される、前記第１の選択肢又は前記第２の選択肢の一方を第１種の注目選択肢として特定し、他方を代替選択肢として特定し、
    前記選択肢特定手順では、受け付けた音声を表すボイスコマンドが前記複数の第１のボイスコマンドのうちのいずれかであり前記複数の第２のボイスコマンドのうちのいずれでもない場合に、前記第１の選択肢を第２種の注目選択肢として特定し、
    前記選択肢特定手順では、受け付けた音声を表すボイスコマンドが前記複数の第２のボイスコマンドのうちのいずれかであり前記複数の第１のボイスコマンドのうちのいずれでもない場合に、前記第２の選択肢を第２種の注目選択肢として特定し、
    前記第１種又は第２種の注目選択肢が選択されていることを表す情報を表示させる表示制御手順、を前記コンピュータにさらに実行させ、
    前記表示制御手順では、前記選択肢特定手順で前記第１種の注目選択肢及び前記代替選択肢を特定した場合は、当該第１種の注目選択肢に関連付けられているボイスコマンドとは異なるボイスコマンドである、前記音声受付手順での受付に応じて前記選択肢特定ステップで前記代替選択肢が前記第２種の注目選択肢として特定される音声を表すボイスコマンド、をさらに表示させる、
    をコンピュータに実行させることを特徴とするプログラム。
12. 音声を受け付ける音声受付手順、
    それぞれボイスコマンドに関連付けられている、第１の選択肢又は第２の選択肢のうちから、前記音声受付手順での音声の受付に応じて、受け付けた音声を表すボイスコマンドに関連付けられている選択肢を特定する選択肢特定手順、をコンピュータに実行させ、
    前記第１の選択肢には、複数の第１のボイスコマンドが関連付けられており、
    前記第２の選択肢には、複数の第２のボイスコマンドが関連付けられており、
    前記複数のボイスコマンドのうちの一部は、それぞれ前記複数の第２のボイスコマンドのうちのいずれかと同じであり、
    前記選択肢特定手順では、前記音声受付手順での音声の受付に応じて、前記複数の第１のボイスコマンド及び前記複数の第２のボイスコマンドのすべてについて、受け付けた音声が表すボイスコマンドであるか否かを特定することで、受け付けた音声を表すボイスコマンドに関連付けられている選択肢を特定し、
    前記選択肢特定手順では、受け付けた音声を表すボイスコマンドが前記複数の第１のボイスコマンドのうちのいずれかでも前記複数の第２のボイスコマンドのうちのいずれかでもある場合に、予め決められた基準に従って選択される、前記第１の選択肢又は前記第２の選択肢の一方を第１種の注目選択肢として特定し、他方を代替選択肢として特定し、
    前記選択肢特定手順では、受け付けた音声を表すボイスコマンドが前記複数の第１のボイスコマンドのうちのいずれかであり前記複数の第２のボイスコマンドのうちのいずれでもない場合に、前記第１の選択肢を第２種の注目選択肢として特定し、
    前記選択肢特定手順では、受け付けた音声を表すボイスコマンドが前記複数の第２のボイスコマンドのうちのいずれかであり前記複数の第１のボイスコマンドのうちのいずれでもない場合に、前記第２の選択肢を第２種の注目選択肢として特定し、
    前記第１種又は第２種の注目選択肢が選択されていることを表す情報を表示させる表示制御手順、を前記コンピュータにさらに実行させ、
    前記表示制御手順では、前記選択肢特定手順で前記第１種の注目選択肢及び前記代替選択肢を特定した場合は、当該第１種の注目選択肢に関連付けられているボイスコマンドとは異なるボイスコマンドである、前記音声受付手順での受付に応じて前記選択肢特定ステップで前記代替選択肢が前記第２種の注目選択肢として特定される音声を表すボイスコマンド、をさらに表示させる、
    ことを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。

Images