WO2012017525A1

WO2012017525A1 - 処理装置及びコマンド入力支援方法

Info

Publication number: WO2012017525A1
Application number: PCT/JP2010/063172
Authority: WO
Inventors: 勝梅澤
Original assignee: パイオニア株式会社
Priority date: 2010-08-04
Filing date: 2010-08-04
Publication date: 2012-02-09

Abstract

　利用者により入力部７１０に対してコマンド入力操作が行われると、コマンド入力の結果が抽出部７３０へ送られる。抽出部７３０では、コマンド入力操作に対応するコマンドを特定し、記憶部７２０を参照して、特定されたコマンドに対応する視覚的態様及び聴覚的態様の少なくとも一方の所定態様での推奨コマンド入力操作の情報を抽出する。そして、提示部７５０が、推奨コマンド入力操作の情報に基づいて、入力部７１０に入力されたコマンドに対応する推奨コマンド入力操作を利用者に提示する。この結果、視覚的態様や聴覚的態様の所定態様でのコマンド入力操作を適切に支援することができる。

Description

処理装置及びコマンド入力支援方法

　本発明は、処理装置、コマンド入力支援方法、コマンド入力支援プログラム、及び、当該コマンド入力支援プログラムが記録された記録媒体に関する。

　従来から、様々な処理装置が、利用者に提供されている。こうした処理装置の中に、利用者が発話した音声を認識し、当該音声認識の結果に基づいて各種処理を実行するものがある。こうした音声によるコマンド入力を用いる処理装置を使用することにより、利用者による表示装置の視認回数やタッチキー操作等の手動操作の回数を大幅に減少させることが可能となる。このため、車両運転者による表示装置の視認や手動操作等により運転への影響が懸念される車載装置においては、多くの機種において、コマンド入力の方法として音声入力が用いられるようになっている。

　こうした音声認識の結果に基づく処理を行う技術の一例として、利用者による音声の入力時に、その入力操作を補助するスイッチを表示装置に表示する。そして、利用者により当該スイッチが選択されたときに、選択されたスイッチに応じて、音声コマンドリストの表示や音声入力に関するガイダンスの表示等の補助機能を実行し、音声によるコマンド入力を支援するものがある（特許文献１参照：以下、「従来例」と呼ぶ）。

特開２００４－３７９９８号公報

　上述した従来例の技術では、音声によるコマンド入力の支援を受けるためには、当該支援を受けるために定められているスイッチを操作しなければならない。また、従来例の技術では、音声コマンドリストを表示装置に表示することから、表示された音声コマンドの読み方、発音又はイントネーション（抑揚）が分らないときには、利用者に対して有効な音声コマンドの提示を行っているとは言い難い。また、音声コマンドリストを表示する方法では、利用者の発音の訛りが原因で正しく音声認識されていない場合に、利用者に対して有効な音声コマンドの提示を行っているとは言い難い。

　このため、音声入力等の所定態様でのコマンド入力操作の支援を受ける際に、特別なスイッチ操作のように利用者にとって面倒に感じられる操作を不要としつつ、所定態様でのコマンド入力操作の支援を有効に行うことのできる技術が待望されている。かかる要請に応えることが、本発明が解決すべき課題の一つとして挙げられる。

　本発明は、上記の事情を鑑みてなされたものであり、聴覚的態様や視覚的態様でのコマンド入力操作を適切に支援することができる新たな処理装置及びコマンド入力支援方法を提供することを目的とする。

　本発明は、第１の観点からすると、入力されたコマンドに対応した処理を行う処理装置であって、聴覚的態様及び視覚的態様の少なくとも一方である所定態様でのコマンド入力操作によりコマンドの入力が行われる第１コマンド入力部を含む入力部と；前記第１コマンド入力部を利用した入力可能なコマンドごとに、前記所定態様での推奨コマンド入力操作の情報を記憶する記憶部と；前記入力部を利用したコマンド入力がなされたとき、前記入力されたコマンドに基づいて前記記憶部を参照し、前記入力されたコマンドを、前記第１コマンド入力部を利用して入力する場合の推奨コマンド入力操作の情報を抽出する抽出部と；前記抽出された推奨コマンド入力操作の情報に基づいて、前記入力されたコマンドに対応する推奨コマンド入力操作を前記利用者へ提示する提示部と；を備える処理装置である。

　本発明は、第２の観点からすると、聴覚的態様及び視覚的態様の少なくとも一方である所定態様でのコマンド入力操作によりコマンドの入力が行われる第１コマンド入力部を含む入力部と；前記第１コマンド入力部を利用した入力可能なコマンドごとに、前記所定態様での推奨コマンド入力操作の情報を記憶する記憶部と；を備え、入力されたコマンドに対応した処理を行う処理装置において使用されるコマンド入力支援方法であって、前記入力部を利用したコマンド入力がなされたとき、前記入力されたコマンドに基づいて前記記憶部を参照し、前記入力されたコマンドを、前記第１コマンド入力部を利用して入力する場合の推奨コマンド入力操作の情報を抽出する抽出工程と；前記抽出された推奨コマンド入力操作の情報に基づいて、前記入力されたコマンドに対応する推奨コマンド入力操作を前記利用者へ提示する提示工程と；を備えるコマンド入力支援方法である。

　本発明は、第３の観点からすると、本発明のコマンド入力支援方法を演算部に実行させる、ことを特徴とするコマンド入力支援プログラムである。

　本発明は、第４の観点からすると、本発明のコマンド入力支援プログラムが、演算部により読み取り可能に記録されている、ことを特徴とする記録媒体である。

本発明の一実施形態に係る処理装置の構成を説明するためのブロック図である。本発明の第１実施例に係る音響装置の構成を概略的に説明するためのブロック図である。図２の音声コマンド情報（ＡＣＩ）の内容を説明するための図である。図２の音響装置による推奨音声コマンド入力操作の支援処理を説明するためのフローチャートである。本発明の第２実施例に係る音響装置の構成を概略的に説明するためのブロック図である。図５の音響装置による推奨ジェスチャコマンド入力操作の支援処理を説明するためのフローチャートである。一変形例におけるタッチパネルデバイスにおける入力スペースの分割例を示す図である。

　以下、本発明の一実施形態を、図１を参照して説明する。なお、以下の説明においては、同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

　［構成］
　図１には、一実施形態に係る処理装置７００の概略的な構成が示されている。

　この図１に示されるように、処理装置７００は、入力部７１０と、記憶部７２０と、抽出部７３０と、提示部７５０と、コマンド実行部７６０とを備えている。

　上記の入力部７１０は、利用者からのコマンド入力を受ける。そして、入力部７１０は、当該コマンド入力の結果を、抽出部７３０へ送る。本実施形態では、入力部７１０は、第１コマンド入力部７１１と、第２コマンド入力部７１２とを備えている。

　上記の第１コマンド入力部７１１は、聴覚的態様及び視覚的態様の少なくとも一方である所定態様でのコマンド入力操作により、コマンド入力が行われる入力部である。ここで、聴覚的態様でコマンド入力操作が行われる場合には、当該聴覚的態様を、「利用者が発話する音声」とすることができる。この場合には、第１コマンド入力部７１１は、利用者が発話した音声を収音する収音デバイスを備えるようにする。

　また、視覚的態様でコマンド入力操作が行われる場合には、当該視覚的態様を、「利用者が行うジェスチャ」又は「利用者が行う少なくとも１つの所定形状の図形の描画」とすることができる。ジェスチャによるコマンド入力方法を採用する場合には、第１コマンド入力部７１１は、利用者が行うジェスチャを撮影する撮影デバイスを備えるようにする。また、図形の描画によるコマンド入力方法を採用する場合には、第１コマンド入力部７１１は、描画入力操作が行われるタッチパネル等の描画入力デバイスを備えるようにする。なお、「利用者が行うジェスチャ」には、利用者の身体全体の動きや、利用者の指先の動き等が挙げられる。また、描画入力デバイスに対して行う描画入力操作は、タッチペンで行うようにしてもよいし、利用者の指で行うようにしてもよい。

　上記の第２コマンド入力部７１２では、キー入力操作及びポインティング入力操作の少なくとも一方により確定的なコマンド入力が行われる入力部である。ここで、第２コマンド入力部７１２を利用したコマンド入力操作としては、例えば、タッチパネルに対するタッチキー操作が挙げられる。この場合には、第２コマンド入力部７１２は、タッチパネルデバイスを備えるようにする。なお、「キー入力操作」には、情報入力用のボタン操作やスイッチ操作も含まるものとする。

　なお、上述のように構成されている入力部７１０では、第１コマンド入力部７１１を利用した場合には、利用者の個性に応じた個人差のある態様でのコマンド入力操作が行われる。一方、第２コマンド入力部７１２を利用した場合には、利用者の個性にかかわらず、確定的なコマンド入力が可能なコマンド入力操作が行われる。

　なお、「図形の描画」によるコマンド入力方法を採用する場合には、第２コマンド入力部７１２が備える描画入力デバイスをタッチパネルデバイスとし、第１コマンド入力部７１１及び第２コマンド入力部７１２は、同一のタッチパネルデバイスから構成されるようにしてもよい。この場合は、タッチパネルデバイスには、利用者が「図形の描画」を行うことによりコマンド入力ができるような描画入力スペースが第１コマンド入力部７１１として設けられ、利用者がタッチ（押す動作）する操作により確定的なコマンド入力ができるようなタッチキー入力スペースが第２コマンド入力部７１２として設けられる。

　上記の記憶部７２０は、不揮発性の記憶領域を有している。この記憶部７２０には、抽出部７３０がアクセス可能となっている。記憶部７２０の当該記憶領域には、第１コマンド入力部７１１を利用して入力可能なコマンドごとに、当該コマンドと、所定態様での当該コマンドの入力操作であるとみなす第１コマンド入力部７１１へのコマンド入力操作のバリエーションと、所定態様での「推奨コマンド入力操作」とが関連付けられて記憶されている。ここで、当該所定態様が「音声」である場合には、コマンド入力操作のバリエーション及び推奨コマンド入力操作の情報は、発話情報となっている。また、当該所定態様が、「利用者が行うジェスチャ」である場合には、コマンド入力操作のバリエーション及び推奨コマンド入力操作の情報は、ジェスチャ情報となっている。また、当該所定態様が、「利用者が行う図形の描画」である場合には、コマンド入力操作のバリエーション及び推奨コマンド入力操作の情報は、図形情報となっている。

　また、記憶部７２０の当該記憶領域には、第２コマンド入力部７１２を利用して入力可能なコマンドごとに、当該コマンドと、第１コマンド入力部７１１を利用した所定態様での当該コマンドの入力操作である「推奨コマンド入力操作」とが関連付けられて記憶されている。なお、第２コマンド入力部７１２を利用して入力可能なコマンドは、第１コマンド入力部７１１を利用して入力可能なコマンドの全てを含むとともに、第１コマンド入力部７１１を利用して入力できないコマンドも含んでいる。

　上記の抽出部７３０は、入力部７１０を利用したコマンド入力操作の結果を受ける。引き続き、抽出部７３０は、当該コマンド入力操作に対応するコマンドの特定を行う。

　そして、抽出部７３０は、特定されたコマンドをコマンド実行部７６０へ送る。また、抽出部７３０は、特定されたコマンドに基づいて記憶部７２０を参照し、第１コマンド入力部７１１を利用して特定されたコマンドを入力する場合の「推奨コマンド入力操作」の情報を抽出する。抽出部７３０による抽出結果は、提示部７５０へ送られる。

　ここで、利用者により第１コマンド入力部７１１に対して行われた所定態様でのコマンド入力操作の結果を受けると、抽出部７３０は、当該コマンド入力操作の結果に基づいて記憶部７２０内を参照して、入力コマンドの特定を行う。そして、抽出部７３０は、提示部７５０からの提示終了報告を受けた後にコマンド実行をすべき旨とともに、特定されたコマンドをコマンド実行部７６０へ送る。引き続き、抽出部７３０は、第１コマンド入力部７１１を利用して特定されたコマンドを入力する場合の「推奨コマンド入力操作」の情報を抽出し、抽出された情報を提示部７５０へ送る。

　なお、当該コマンド入力操作の結果に基づいてでは、入力コマンドの特定ができなかった場合には、抽出部７３０は、その後における処理を実行せず、新たなコマンド入力操作の結果を待つようになっている。

　また、利用者により第２コマンド入力部７１２に対して行われたコマンド入力操作の結果を受けると、抽出部７３０は、当該コマンド入力操作に対応する入力コマンドの特定を行う。引き続き、抽出部７３０は、記憶部７２０内を参照して、特定された入力コマンドが第１コマンド入力部７１１を利用して入力可能なコマンドであるか否かを判定する。そして、この判定の結果が否定的であった場合には、抽出部７３０は、直ちにコマンド実行をすべき旨とともに、特定されたコマンドをコマンド実行部７６０へ送る。

　一方、当該判定の結果が肯定的であった場合には、抽出部７３０は、提示部７５０からの提示終了報告を受けた後にコマンド実行をすべき旨とともに、特定されたコマンドをコマンド実行部７６０へ送る。引き続き、抽出部７３０は、第１コマンド入力部７１１を利用して特定されたコマンドを入力する場合の「推奨コマンド入力操作」の情報を抽出し、抽出された情報を提示部７５０へ送る。

　上記の提示部７５０は、抽出部７３０による抽出結果である推奨コマンド入力操作の情報を受ける。そして、提示部７５０は、抽出された推奨コマンド入力操作の情報に基づいて、入力部７１０に入力されたコマンドに対応する「推奨コマンド入力操作」の提示情報を生成する。ここで、所定態様が「音声」である場合には、当該提示情報は、発話情報を音声にした音声データ、及び／又は、発話情報を文字列にした文字列データとすることができる。また、所定態様が「利用者が行うジェスチャ」である場合には、当該提示情報は、ジェスチャ情報を画像にした画像データとすることができる。また、所定態様が「利用者が行う図形の描画」である場合には、当該提示情報は、図形情報を画像にした画像データとすることができる。

　引き続き、提示部７５０は、当該提示情報に従って、入力部７１０に入力されたコマンドに対応する「推奨コマンド入力操作」を利用者に提示する。ここで、所定態様が「音声」である場合には、提示部７５０は、音声出力部、及び／又は、画像表示部を備え、音声出力及び文字列表示の少なくとも一方により、推奨コマンド入力操作を利用者に提示する。

　また、所定態様が「利用者が行うジェスチャ」又は「利用者が行う図形の描画」である場合には、提示部７５０は、画像表示部を備え、画像表示により、推奨コマンド入力操作を利用者に提示する。

　こうして、利用者への推奨コマンド入力操作の提示が終了すると、提示部７５０は、提示終了報告をコマンド実行部７６０へ送る。

　上記のコマンド実行部７６０は、抽出部７３０から送られたコマンドを受ける。そして、当該コマンドとともに、直ちにコマンド実行をすべき旨の指定を受けた場合には、コマンド実行部７６０は、当該コマンドに対応する処理の実行を直ちに開始する。一方、当該コマンドとともに、提示部７５０からの提示終了報告を受けた後にコマンド実行をすべき旨の指定を受けた場合には、コマンド実行部７６０は、提示部７５０からの提示終了報告を受けた後に、当該コマンドに対応する処理の実行を開始する。

　［動作］
　上記のように構成された処理装置７００において実行されるコマンド入力支援方法について、説明する。

　＜推奨コマンド入力操作の情報の抽出処理＞
　まず、処理装置７００による「推奨コマンド入力操作」の情報の抽出処理について説明する。

　この「推奨コマンド入力操作」の情報の抽出処理は、入力部７１０が、利用者からのコマンド入力を受け、当該コマンド入力操作の結果を抽出部７３０へ送ることにより開始される。

　利用者により、第１コマンド入力部７１１に対して、聴覚的態様及び視覚的態様の少なくとも一方である所定態様でのコマンド入力操作が実行されると、抽出部７３０が、記憶部７２０内を参照して、当該実行されたコマンド入力操作に対応する入力コマンドの特定を行う。そして、抽出部７３０は、特定された入力コマンドに基づいて、当該特定された入力コマンドに対応する推奨コマンド入力操作の情報を抽出する。こうして抽出された推奨コマンド入力操作の情報は、提示部７５０へ送られる。また、抽出部７３０は、提示部７５０からの提示終了報告を受けた後にコマンド実行をすべき旨とともに、特定されたコマンドをコマンド実行部７６０へ送る。

　また、利用者により、第２コマンド入力部７１２に対して、キー入力操作及びポインティング入力操作の少なくとも一方により確定的なコマンド入力操作が実行されると、抽出部７３０が、当該実行されたコマンド入力操作に対応する入力コマンドの特定を行う。そして、抽出部７３０は、特定された入力コマンドに基づいて記憶部７２０内を参照し、特定された入力コマンドが第１コマンド入力部７１１を利用して入力可能なコマンドであるか否かを判定する。この判定の結果が否定的であった場合には、抽出部７３０は、直ちにコマンド実行をすべき旨とともに、特定されたコマンドをコマンド実行部７６０へ送る。

　一方、当該判定の結果が肯定的であった場合には、抽出部７３０は、特定された入力コマンドに対応する推奨コマンド入力操作の情報を抽出する。こうして抽出された推奨コマンド入力操作の情報は、提示部７５０へ送られる。また、抽出部７３０は、提示部７５０からの提示終了報告を受けた後にコマンド実行をすべき旨とともに、特定されたコマンドをコマンド実行部７６０へ送る。

　＜推奨コマンド入力操作の提示処理＞
　次に、「推奨コマンド入力操作」の提示処理について説明する。

　提示部７５０が、抽出部７３０から送られた推奨コマンド入力操作の情報を受けると、当該情報に基づいて、入力部７１０に入力されたコマンドに対応する「推奨コマンド入力操作」を利用者へ提示する。かかる提示処理に際して、所定態様が「音声」である場合には、提示部７５０は、発話情報を音声にした音声データ、及び／又は、発話情報を文字列にした文字列データを生成し、音声出力及び文字列表示の少なくとも一方により、推奨コマンド入力情報を利用者に提示する。

　また、所定態様が「利用者が行うジェスチャ」である場合には、提示部７５０は、ジェスチャ情報を画像にした画像データを生成し、画像表示により、推奨コマンド入力情報を利用者に提示する。さらに、所定態様が、「利用者が行う図形の描画」である場合には、提示部７５０は、図形情報を画像にした画像データを生成し、画像表示により、推奨コマンド入力情報を利用者に提示する。

　こうして推奨コマンド入力操作が提示された後に、コマンド実行部７６０が、コマンドに対応する処理の実行を開始する。

　以上説明したように、本実施形態では、利用者により第１コマンド入力部７１１に対して、聴覚的態様及び視覚的態様の少なくとも一方である所定態様でのコマンド入力操作が行われると、コマンド入力操作の結果が抽出部７３０へ送られる。抽出部７３０では、記憶部７２０を参照して、当該コマンド入力操作に対応する入力コマンドを特定し、特定された入力コマンドに対応する推奨コマンド入力操作の情報を抽出する。また、抽出部７３０は、提示部７５０からの提示終了報告を受けた後にコマンド実行をすべき旨とともに、特定されたコマンドをコマンド実行部７６０へ送る。引き続き、提示部７５０が、推奨コマンド入力操作の情報に基づいて、第１コマンド入力部７１１に入力されたコマンドに対応する「推奨コマンド入力操作」を利用者に提示する。こうして推奨コマンド入力操作が提示された後に、コマンド実行部７６０が、コマンドに対応する処理の実行を開始する。

　このように本実施形態では、利用者により第１コマンド入力部７１１に対して所定態様でのコマンド入力操作が行われた際に、第１コマンド入力部７１１に入力されたコマンドに対応する推奨コマンド入力操作を利用者に適切に提示することができる。

　また、本実施形態では、利用者により第２コマンド入力部７１２に対して、キー入力操作及びポインティング入力操作の少なくとも一方により確定的なコマンド入力操作が行われると、抽出部７３０が、当該コマンド入力操作に対応する入力コマンドを特定する。そして、抽出部７３０は、特定された入力コマンドに基づいて記憶部７２０内を参照し、特定された入力コマンドが第１コマンド入力部７１１を利用して入力可能なコマンドであるか否かを判定する。この判定の結果が否定的であった場合には、抽出部７３０は、直ちにコマンド実行をすべき旨とともに、特定されたコマンドをコマンド実行部７６０へ送る。そして、特定されたコマンドを受けたコマンド実行部７６０が、当該コマンドに対応する処理を直ちに開始する。

　一方、当該判定の結果が肯定的であった場合には、抽出部７３０は、特定された入力コマンドに対応する推奨コマンド入力操作の情報を抽出する。また、抽出部７３０は、提示部７５０からの提示終了報告を受けた後にコマンド実行をすべき旨とともに、特定されたコマンドをコマンド実行部７６０へ送る。引き続き、提示部７５０が、推奨コマンド入力操作の情報に基づいて、第２コマンド入力部７１２に入力されたコマンドに対応する「推奨コマンド入力操作」を利用者に提示する。こうして推奨コマンド入力操作が提示された後に、コマンド実行部７６０が、コマンドに対応する処理の実行を開始する。

　このため、本実施形態では、キー入力操作及びポインティング入力操作の少なくとも一方による確定的なコマンド入力操作に対応する所定態様でのコマンド入力操作を利用者に提示することができる。

　したがって、本発明の実施形態によれば、視覚的態様や聴覚的態様の所定態様でのコマンド入力操作を適切に支援することができる。

　なお、上記の実施形態では、提示部７５０による推奨コマンド入力操作の提示の回数に制限を設けなかったが、提示部７５０は、所定回数を限度として同一のコマンドに対応する推奨コマンド入力操作の提示を行うようにしてもよい。この場合には、提示部７５０による推奨コマンド入力操作の提示が行われないときには、提示部７５０が、提示終了報告をコマンド実行部７６０へ送る。

　また、提示部７５０が、第１コマンド入力部７１１を利用して行われたコマンド入力操作と、抽出部７３０により抽出された推奨コマンド入力操作との差異の評価を行うようにするとともに、当該評価の結果が所定閾値よりも大きな場合に、入力されたコマンドに対応する推奨コマンド入力操作の提示を行うようにしてもよい。この場合にも、提示部７５０による推奨コマンド入力操作の提示が行われないときには、提示部７５０が、提示終了報告をコマンド実行部７６０へ送る。

　また、上記の実施形態では、抽出部７３０は、推奨コマンド入力操作の提示後にコマンド実行すべく、提示部７５０からの提示終了報告を受けた後にコマンド実行をすべき旨とともに特定されたコマンドをコマンド実行部７６０へ送るようにした。これに対して、推奨コマンド入力操作の提示をコマンド実行の後に行うようにし、抽出部７３０は、直ちにコマンド実行をすべき旨とともに、特定されたコマンドをコマンド実行部７６０へ送るようにしてもよい。この場合には、コマンド実行が終了した後に、抽出部７３０が、第１コマンド入力部７１１を利用して特定されたコマンドを入力する場合の「推奨コマンド入力操作」の情報を抽出し、抽出された情報を提示部７５０へ送ることになる。

　また、上記の実施形態では、抽出部７３０は、提示部７５０からの提示終了報告を受けた後にコマンド実行をすべき旨とともに、特定されたコマンドをコマンド実行部７６０へ送るようにした。これに対して、推奨コマンド入力操作の提示にあたっての資源利用と、特定されたコマンドの実行にあたっての資源利用との間で、同一資源に対する利用の競合がおきない場合には、抽出部７３０が、直ちにコマンド実行をすべき旨とともに、特定されたコマンドを、コマンド実行部７６０へ送るようにしてもよい。

　また、実施形態の処理装置７００を、演算部としてのコンピュータを備えて構成し、抽出部７３０及び提示部７５０の一部の機能を、プログラムを実行することにより実現するようにすることができる。これらのプログラムは、ＣＤ－ＲＯＭ，ＤＶＤ等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにすることができる。

　以下、本発明の音響装置の実施例を、図２～図６を参照して説明する。なお、以下の説明及び図面においては、同一又は同等の要素については同一の符号を付し、重複する説明を省略する。

　［第１実施例］
　まず、本発明の第１実施例を、図２～図４を主に参照して説明する。

　＜構成＞
　図２には、第１実施例に係る処理装置としての機能を有する音響装置１００Ａの概略的な構成が示されている。なお、音響装置１００Ａは、上述した一実施形態の処理装置７００（図１参照）の一態様となっている。

　図２に示されるように、音響装置１００Ａは、音源部１１０と、入力部７１０としての入力部１２０Ａと、記憶部７２０としての記憶部１３０Ａと、抽出部７３０及び提示部７５０の一部としての処理部１９０Ａとを備えている。また、音響装置１００Ａは、提示部７５０の一部としての音出力部１５０と、提示部７５０の一部としての表示部１６０とを備えている。

　上記の音源部１１０は、音声コンテンツが記録されたＤＶＤ（Digital Versatile Disk）等の記録媒体が挿入されると、音声コンテンツの曲名等のコンテンツ情報ＣＴＩを、処理部１９０Ａへ送る。そして、音源部１１０は、処理部１９０Ａから音声コンテンツの再生指令ＤＶＣを受けると、当該再生指令ＤＶＣにより再生指定がなされた音声コンテンツデータ信号ＣＴＤを出力する。こうして音源部１１０から出力された音声コンテンツデータ信号ＣＴＤは、処理部１９０Ａへ送られる。

　上記の入力部１２０Ａは、本第１実施例では、第１コマンド入力部７１１としての収音部１２１と、第２コマンド入力部７１２としてのタッチパネル部１２６とを備えている。

　上記の収音部１２１は、聴覚的態様である「音声」でのコマンド入力操作により、コマンド入力が行われる入力部である。収音部１２１は、収音デバイス１２２を備えて構成され、収音デバイス１２２により、利用者の発話を収音する。そして、収音部１２１は、収音結果を収音データＡＳＤとして、処理部１９０Ａへ送る。

　上記のタッチパネル部１２６は、タッチパネルに対するタッチキー操作により、コマンド入力が行われる入力部である。タッチパネル部１２６は、タッチパネルデバイス１２７と、当該タッチパネルデバイス１２７を駆動する不図示の駆動回路等を備えて構成される。タッチパネルデバイス１２７は、後述する表示デバイスの表示面上に配設されている。駆動回路は、タッチパネルデバイス１２７に対して行われたタッチキー操作の位置に関するデータを取得する。タッチパネル部１２６へのコマンド入力操作の結果は、タッチパネル入力データＩＰＤとして、処理部１９０Ａへ向けて送られる。

　上記の記憶部１３０Ａは、不揮発性の記憶装置であるハードディスク装置等から構成される。記憶部１３０Ａは、音声コマンド情報（ＡＣＩ）等の様々なデータを記憶する。この記憶部１３０Ａには、処理部１９０Ａがアクセスできるようになっている。

　上記の音声コマンド情報（ＡＣＩ）では、図３に示されるように、タッチパネル部１２６を利用して入力可能な基本コマンド（ＴＣＭＤ）ごとに、「推奨音声コマンド入力操作」の発話情報、及び、音声入力操作であるとみなす収音部１２１への音声コマンド操作のバリエーションの発話情報が関連付けられている。例えば、コマンド「ｔｃｍｄ＿ＡＡＡ」の推奨音声コマンド入力操作の発話が『ＡＡＡ』であるときには、音声コマンドの発話情報として「ＡＡＡ」、「ＡＡａ」、「ＡＡＢ」、「ＥＦＧ」等が用意されている。ここで、「ＡＡＡ」と「ＡＡａ」とは、語尾のアクセントが異なっているものとする。また、「ＡＡＡ」と「ＡＡＢ」とは、語尾の発話語が異なっているものとする。また、「ＡＡＡ」と「ＥＦＧ」とは同じ内容の意味であるが、両者の発話が全く異なっているものとする。なお、本第１実施例では、発話「ＡＡＡ」は「プレイ」であり、発話「ＥＦＧ」は「スタート」であるとする。

　また、音声コマンド情報（ＡＣＩ）には、コマンド（ｔｃｍｄ＿ＺＺＺ）のように、タッチパネル部１２６を利用して入力可能であるが、収音部１２１を利用して音声コマンド操作を行えないコマンドも含まれている。

　上記の音出力部１５０は、スピーカを備えて構成され、処理部１９０Ａから送られた出力音声信号ＡＯＳに対応する音声を出力する。この音出力部１５０は、処理部１９０Ａによる制御のもとで、「推奨音声コマンド入力操作」の音声出力、再生した音声コンテンツの音声出力等を行う。

　上記の表示部１６０は、液晶パネル等の表示デバイスを備えて構成され、処理部１９０Ａから送られた出力表示信号ＩＭＤを受ける。そして、表示部１６０は、出力表示信号ＩＭＤに従って、画像を表示する。この表示部１６０は、処理部１９０Ａによる制御のもとで、「推奨音声コマンド入力操作」のテキスト表示、操作ガイダンス情報などの画像表示等を行う。

　上記の処理部１９０Ａは、音響装置１００Ａの全体を統括制御する。この処理部１９０Ａは、中央処理装置（ＣＰＵ）及びその周辺回路を備えて構成されている。処理部１９０Ａが様々なプログラムを実行することにより、上述した一実施形態における抽出部７３０及び提示部７５０の一部の機能が実現されるようになっている。

　この処理部１９０Ａは、収音部１２１から送られた収音データＡＳＤを受けると、利用者の発話を音声認識する。そして、処理部１９０Ａは、当該音声認識の結果に基づいて、記憶部１３０Ａ内の音声コマンド情報（ＡＣＩ）を参照し、入力コマンドの特定を行う。引き続き、処理部１９０Ａは、収音部１２１を利用して音声入力する場合の「推奨音声コマンド入力操作」の発話情報を抽出する。また、処理部１９０Ａは、音源部１１０に音声コンテンツを記録した記録媒体が挿入されたときに、音源部１１０から音声コンテンツの曲名等のコンテンツ情報ＣＴＩを受ける。そして、処理部１９０Ａは、推奨音声コマンド入力操作の発話情報及びコンテンツ情報ＣＴＩに基づいて、収音部１２１に音声入力されたコマンドに対応する「推奨音声コマンド入力操作」の音声データ及び文字列データを生成する。

　例えば、利用者が、収音部１２１に向けて、『スタート、ＸＹＺ（曲名）。』と発話したとする。このとき、処理部１９０Ａは、記憶部１３０Ａ内の音声コマンド情報（ＡＣＩ）にアクセスし、推奨音声コマンド入力操作の発話情報として『プレイ』を抽出する。また、処理部１９０Ａは、『ＸＹＺ（曲名）』をコンテンツ情報ＣＴＩから抽出する。そして、処理部１９０Ａは、『プレイ』と『ＸＹＺ（曲名）』とを合成して、『プレイ、ＸＹＺ（曲名）。』となる音声データ及び文字列データを生成する。こうして生成された音声データは、出力音声信号ＡＯＳとして音出力部１５０へ送られる。また、生成された文字列データは、出力表示信号ＩＭＤとして表示部１６０へ送られる。

　また、処理部１９０Ａは、タッチパネル部１２６から送られたタッチパネル入力データＩＰＤを受けると、当該入力データＩＰＤに基づいて、入力コマンドの特定を行う。そして、処理部１９０Ａは、記憶部１３０Ａ内の音声コマンド情報（ＡＣＩ）を参照して、収音部１２１を利用して音声入力する場合の「推奨音声コマンド入力操作」の発話情報を抽出する。引き続き、処理部１９０Ａは、推奨音声コマンド入力操作の発話情報及びタッチパネル入力データＩＰＤに基づいて、タッチパネル部１２６に入力されたコマンドに対応する「推奨音声コマンド入力操作」の音声データ及び文字列データを生成する。こうして生成された音声データは、出力音声信号ＡＯＳとして音出力部１５０へ送られる。また、生成された文字列データは、出力表示信号ＩＭＤとして表示部１６０へ送られる。

　処理部１９０Ａは、こうした推奨音声コマンド入力操作の提示情報の生成処理を行うとともに、入力部１２０Ａに入力されたコマンドに対応した処理を行う。処理部１９０Ａが行うかかる処理としては、例えば、音声コンテンツの再生処理が挙げられる。音声コンテンツの再生処理を行う際には、処理部１９０Ａは、入力部１２０Ａから音声コンテンツの再生指定を受けた場合に、再生指定された音声コンテンツの再生指令ＤＶＣを音源部１１０へ送る。そして、処理部１９０Ａは、再生すべき音声コンテンツに対応する音声コンテンツデータ信号ＣＴＤを音源部１１０から読み出して、デジタル音データ信号を生成し、所定の処理を施して、音出力部１５０へ送る出力音声信号ＡＯＳを生成する。

　また、処理部１９０Ａが行う入力部１２０Ａに入力されたコマンドに対応した処理としては、イコライザ処理、音量調整処理、再生している音声コンテンツの停止処理等が挙げられる。

　＜動作＞
　以上のようにして構成された音響装置１００Ａの動作について、推奨音声コマンド入力操作の支援処理に主に着目して説明する。

　かかる推奨音声コマンド入力操作の支援処理に際して、図４に示されるように、まず、ステップＳ１１において、処理部１９０Ａが、利用者により収音部１２１に対して音声でのコマンド入力操作（以下、「音声入力操作」とも記す）が行われたか否かを判定する。この判定の結果が肯定的であった場合（ステップＳ１１：Ｙ）には、処理部１９０Ａが入力されたコマンドを特定し、処理は後述するステップＳ１４へ進む。

　一方、ステップＳ１１における判定の結果が否定的であった場合（ステップＳ１１：Ｎ）には、処理はステップＳ１２へ進む。ステップＳ１２では、処理部１９０Ａが、利用者によりタッチパネル部１２６に対してタッチキー操作が行われたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ１２：Ｎ）には、処理はステップＳ１１へ戻る。一方、ステップＳ１２における判定の結果が肯定的であった場合（ステップＳ１２：Ｙ）には、処理はステップＳ１３へ進む。

　ステップＳ１３では、処理部１９０Ａが、タッチキー操作に対応する入力コマンドを特定し、記憶装置１３０Ａ内の音声コマンド情報（ＡＣＩ）を参照して、特定された入力コマンドに対応する推奨音声コマンド入力操作の情報があるか否かを判定する。この判定の結果が否定的であった場合（ステップＳ１３：Ｎ）には、処理は後述するステップＳ１７へ進む。例えば、特定された入力コマンドが、「ｔｃｍｄ＿ＺＺＺ」であるときには、ステップＳ１３における判定の結果は否定的となる。一方、ステップＳ１３における判定の結果が肯定的であった場合（ステップＳ１３：Ｙ）には、処理はステップＳ１４へ進む。

　ステップＳ１４では、処理部１９０Ａが、特定された入力コマンドに対応する推奨音声コマンド入力操作の利用者への提示が、所定回数以下であるか否かを判定する。この判定の結果が否定的であった場合（ステップＳ１４：Ｎ）には、処理はステップＳ１７へ進む。一方、ステップＳ１４における判定の結果が肯定的であった場合（ステップＳ１４：Ｙ）には、処理はステップＳ１５へ進む。

　ステップＳ１５では、処理部１９０Ａが、推奨音声コマンド入力操作の提示情報を生成する。この提示情報の生成に際して、まず、処理部１９０Ａが、特定された入力コマンドに基づいて記憶部１３０Ａ内の音声コマンド情報（ＡＣＩ）を参照し、当該特定された入力コマンドに対応する推奨音声コマンド入力操作の発話情報を抽出する。そして、処理部１９０Ａは、当該情報等に基づいて、「推奨音声コマンド入力操作」の提示情報として、音声データ及び文字列データを生成する。

　引き続き、ステップＳ１６において、処理部１９０Ａが、音声データを出力音声信号ＡＯＳとして音出力部１５０へ送るとともに、文字列データを出力表示信号ＩＭＤとして表示部１６０へ送る。この結果、推奨音声コマンド入力操作が、音出力部１５０のスピーカにより音声案内されるとともに、表示部１６０の表示デバイスに画像表示される。この後、処理はステップＳ１７へ進む。

　ステップＳ１７では、処理部１９０Ａが、入力されたコマンドに対応した処理を開始する。この後、処理はステップＳ１１へ戻る。

　上記の処理が実行されることにより、推奨音声コマンド入力操作の支援処理が行われる。

　以上説明したように、本第１実施例では、利用者により収音部１２１に対して音声でのコマンド入力操作が行われると、処理部１９０Ａが、当該コマンド入力操作に対応するコマンドを特定し、記憶部１３０Ａ内の音声コマンド情報（ＡＣＩ）を参照して、特定された入力コマンドに対応する推奨音声コマンド入力操作の発話情報を抽出する。そして、処理部１９０Ａは、当該発話情報に基づき、「推奨音声コマンド入力操作」の音声データ及び文字列データを生成する。こうして生成された推奨音声コマンド入力操作が、音出力部１５０により音声案内されるとともに、表示部１６０に文字列表示される。

　このため、本第１実施例では、利用者により音声でのコマンド入力操作が行われた際に、入力されたコマンドに対応する推奨音声コマンド入力操作を利用者に提示することができる。

　また、本第１実施例では、利用者によりタッチパネル部１２６に対してタッチキー操作によりコマンド入力操作が行われると、処理部１９０Ａが、当該コマンド入力操作に対応するコマンドを特定し、記憶部１３０Ａ内の音声コマンド情報（ＡＣＩ）を参照して、特定された入力コマンドに対応する推奨音声コマンド入力操作の発話情報を抽出する。そして、処理部１９０Ａは、当該発話情報に基づき、「推奨音声コマンド入力操作」の音声データ及び文字列データを生成する。こうして生成された推奨音声コマンド入力操作が、音出力部１５０により音声案内されるとともに、表示部１６０に文字列表示される。

　このため、タッチキー操作に対応する利用者が覚えていない可能性のある推奨音声コマンド入力操作を利用者に提示することができる。

　したがって、本第１実施例によれば、音声でのコマンド入力操作を適切に支援することができる。

　［第２実施例］
　次に、本発明の第２実施例を、図５及び図６を主に参照して説明する。

　＜構成＞
　図５には、第２実施例に係る処理装置としての機能を有する音響装置１００Ｂの概略的な構成が示されている。なお、音響装置１００Ｂは、第１実施例に係る音響装置１００Ａと同様に、上述した一実施形態の処理装置７００の一態様となっている。

　図５に示されるように、音響装置１００Ｂは、上述した第１実施例の音響装置１００Ａと比べて、入力部１２０Ａに代えて入力部１２０Ｂを備える点、記憶部１３０Ａに代えて記憶部１３０Ｂを備える点、及び、処理部１９０Ａに代えて処理部１９０Ｂを備える点が異なっている。以下、これらの相違点に主に着目して、説明を行う。

　上記の入力部１２０Ｂは、上述した入力部１２０Ａと比べて、収音部１２１に代えて第１コマンド入力部７１１としての撮影部１２３を備える点が異なっている。

　上記の撮影部１２３は、視覚的態様である「ジェスチャ」でのコマンド入力操作により、コマンド入力が行われる入力部である。ここで、ジェスチャには、利用者の身体全体の動きや、利用者の指先の動きが挙げられる。撮影部１２３は、撮影デバイス１２４を備えて構成され、撮影デバイス１２４により、音響装置１００Ｂの利用者のジェスチャを撮影する。そして、撮影部１２３は、撮影結果を撮影データＣＳＤとして、処理部１９０Ｂへ送る。

　上記の記憶部１３０Ｂは、上述した記憶部１３０Ａと同様に、不揮発性の記憶装置であるハードディスク装置等から構成される。この記憶部１３０Ｂは、ジェスチャコマンド情報（ＪＣＩ）等の様々なデータを記憶する。この記憶部１３０Ｂには、処理部１９０Ｂがアクセスできるようになっている。

　上記のジェスチャコマンド情報（ＪＣＩ）は、上述した音声コマンド情報（ＡＣＩ）と同様の構成を有している。すなわち、ジェスチャコマンド情報（ＪＣＩ）では、タッチパネル部１２６を利用して入力可能なコマンドごとに、「推奨ジェスチャコマンド入力操作」のジェスチャ情報、及び、ジェスチャ入力操作であるとみなす撮影部１２３を利用したジェスチャコマンド操作のバリエーションのジェスチャ情報が関連付けられている。なお、ジェスチャコマンド情報（ＪＣＩ）には、タッチパネル部１２６を利用して入力可能であるが、撮影部１２３を利用してジェスチャコマンド操作を行えないコマンドも含まれている。

　上記の処理部１９０Ｂは、上述した処理部１９０Ａと同様に、音響装置１００Ｂの全体を統括制御する。この処理部１９０Ｂは、中央処理装置（ＣＰＵ）及びその周辺回路を備えて構成されている。処理部１９０Ｂが様々なプログラムを実行することにより、上述した一実施形態における抽出部７３０及び提示部７５０の一部の機能が実現されるようになっている。

　この処理部１９０Ｂは、撮影部１２３から送られた撮影データＣＳＤを受けると、当該データの解析処理を行う。そして、処理部１９０Ｂは、当該解析処理の結果に基づいて、記憶部１３０Ｂ内のジェスチャコマンド情報（ＪＣＩ）を参照し、入力コマンドの特定を行う。引き続き、処理部１９０Ｂは、撮影部１２３を利用してジェスチャ入力する場合の「推奨ジェスチャコマンド入力操作」のジェスチャ情報を抽出する。そして、処理部１９０Ｂは、推奨ジェスチャコマンド入力操作のジェスチャ情報に基づいて、撮影部１２３にジェスチャ入力されたコマンドに対応する「推奨ジェスチャコマンド入力操作」の画像データを生成する。こうして生成された画像データは、出力表示信号ＩＭＤとして表示部１６０へ送られる。

　また、処理部１９０Ｂは、タッチパネル部１２６から送られたタッチパネル入力データＩＰＤを受けると、当該入力データＩＰＤに基づいて、入力コマンドの特定を行う。そして、処理部１９０Ｂは、記憶部１３０Ｂ内のジェスチャコマンド情報（ＪＣＩ）を参照して、撮影部１２３を利用してジェスチャ入力する場合の「推奨ジェスチャコマンド入力操作」のジェスチャ情報を抽出する。引き続き、処理部１９０Ｂは、推奨ジェスチャコマンド入力操作のジェスチャ情報に基づいて、タッチパネル部１２６に入力されたコマンドに対応する「推奨ジェスチャコマンド入力操作」の画像データを生成する。こうして生成された画像データは、出力表示信号ＩＭＤとして表示部１６０へ送られる。

　また、処理部１９０Ｂは、こうした推奨ジェスチャコマンド入力操作の提示情報の生成処理を行うとともに、上述した処理部１９０Ａと同様に、入力部１２０Ｂに入力されたコマンドに対応した処理を行う。

　＜動作＞
　以上のようにして構成された音響装置１００Ｂの動作について、推奨ジェスチャコマンド入力操作の支援処理に主に着目して説明する。

　かかる推奨ジェスチャコマンド入力操作の支援処理に際して、図６に示されるように、まず、ステップＳ２１において、処理部１９０Ｂが、利用者により撮影部１２３に対してジェスチャでのコマンド入力操作（以下、「ジェスチャ入力操作」とも記す）が行われたか否かを判定する。この判定の結果が肯定的であった場合（ステップＳ２１：Ｙ）には、処理部１９０Ｂが入力されたコマンドを特定し、処理は後述するステップＳ２４へ進む。

　一方、ステップＳ２１における判定の結果が否定的であった場合（ステップＳ２１：Ｎ）には、処理はステップＳ２２へ進む。ステップＳ２２では、第１実施例におけるステップＳ１２と同様に、処理部１９０Ｂが、利用者によりタッチパネル部１２６に対してタッチキー操作が行われたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ２２：Ｎ）には、処理はステップＳ２１へ戻る。一方、ステップＳ２２における判定の結果が肯定的であった場合（ステップＳ２２：Ｙ）には、処理はステップＳ２３へ進む。

　ステップＳ２３では、処理部１９０Ｂが、タッチキー操作に対応するコマンドを特定し、記憶装置１３０Ｂ内のジェスチャコマンド情報（ＪＣＩ）を参照して、特定された入力コマンドに対応する推奨ジェスチャコマンド入力操作の情報があるか否かを判定する。この判定の結果が否定的であった場合（ステップＳ２３：Ｎ）には、処理は後述するステップＳ２７へ進む。一方、ステップＳ２３における判定の結果が肯定的であった場合（ステップＳ２３：Ｙ）には、処理はステップＳ２４へ進む。

　ステップＳ２４では、処理部１９０Ｂが、特定された入力コマンドに対応する推奨ジェスチャコマンド入力操作の利用者への提示が、所定回数以下であるか否かを判定する。この判定の結果が否定的であった場合（ステップＳ２４：Ｎ）には、処理はステップＳ２７へ進む。一方、ステップＳ２４における判定の結果が肯定的であった場合（ステップＳ２４：Ｙ）には、処理はステップＳ２５へ進む。

　ステップＳ２５では、処理部１９０Ｂが、推奨ジェスチャコマンド入力操作の提示情報を生成する。この提示情報の生成に際して、まず、処理部１９０Ｂが、特定された入力コマンドに基づいて記憶部１３０Ｂ内のジェスチャコマンド情報（ＪＣＩ）を参照し、当該特定された入力コマンドに対応する推奨ジェスチャコマンド入力操作のジェスチャ情報を抽出する。そして、処理部１９０Ｂは、当該情報等に基づいて、「推奨ジェスチャコマンド入力操作」の提示情報として、画像データを生成する。

　引き続き、ステップＳ２６において、処理部１９０Ｂが、画像データを出力表示信号ＩＭＤとして表示部１６０へ送る。この結果、推奨ジェスチャコマンド入力操作が、表示部１６０の表示デバイスに画像表示される。この後、処理はステップＳ２７へ進む。

　ステップＳ２７では、第１実施例におけるステップＳ１７と同様に、処理部１９０Ｂが、入力されたコマンドに対応した処理を開始する。この後、処理はステップＳ２１へ戻る。

　上記の処理が実行されることにより、推奨ジェスチャコマンド入力操作の支援処理が行われる。

　以上説明したように、本第２実施例では、利用者により撮影部１２３に対してジェスチャでのコマンド入力操作が行われると、処理部１９０Ｂが、当該コマンド入力操作に対応するコマンドを特定し、記憶部１３０Ｂ内のジェスチャコマンド情報（ＪＣＩ）を参照して、特定された入力コマンドに対応する推奨ジェスチャコマンド入力操作のジェスチャ情報を抽出する。そして、処理部１９０Ｂは、当該ジェスチャ情報に基づき、「推奨ジェスチャコマンド入力操作」の画像データを生成する。こうして生成された推奨音声コマンド入力操作が、表示部１６０に画像表示される。

　このため、本第２実施例では、利用者によりジェスチャでのコマンド入力操作が行われた際に、入力されたコマンドに対応する推奨ジェスチャコマンド入力操作を利用者に提示することができる。

　また、本第２実施例では、利用者によりタッチパネル部１２６に対してタッチキー操作によりコマンド入力操作が行われると、処理部１９０Ｂが、当該コマンド入力操作に対応するコマンドを特定し、記憶部１３０Ｂ内のジェスチャコマンド情報（ＪＣＩ）を参照して、特定された入力コマンドに対応する推奨ジェスチャコマンド入力操作の発話情報を抽出する。そして、処理部１９０Ｂは、当該ジェスチャ情報に基づき、「推奨ジェスチャコマンド入力操作」の画像データを生成する。こうして生成された推奨音声コマンド入力操作が、表示部１６０に画像表示される。

　このため、タッチキー操作に対応する利用者が覚えていない可能性のある推奨ジェスチャコマンド入力操作を利用者に提示することができる。

　したがって、本第２実施例によれば、ジェスチャでのコマンド入力操作を適切に支援することができる。

　［実施例の変形］
　本発明は、上記の実施例に限定されるものではなく、様々な変形が可能である。

　例えば、上記の第２実施例では、視覚的態様でコマンド入力操作が行われる一例として、当該視覚的態様を「利用者が行うジェスチャ」としたが、視覚的態様を「利用者が行う図形の描画」とする変形を行ってもよい。こうした変形に際しては、例えば、図７に示されるように、１台のタッチパネルデバイス２００を用い、利用者が「図形の描画」を行うことによりコマンド入力ができるような描画入力スペース２０１が第１コマンド入力部７１１として設けられ、利用者がタッチ（押す動作）する操作により確定的なコマンド入力ができるようなタッチキー入力スペース２０２が第２コマンド入力部７１２として設けられる構成を採用することができる。

　また、視覚的態様を「利用者が行う図形の描画」とする場合には、タッチパネルデバイスは、図７に示されるように、描画入力スペース２０１とタッチキー入力スペース２０２とに分けて構成されている必要はなく、タッチパネルデバイス面全体を、描画入力スペース及びタッチキー入力スペースとする構成を採用することもできる。この場合には、利用者によるコマンド入力に際して、利用者の指（又は、タッチペン）がタッチパネルデバイス面に継続的にタッチしている時間、タッチ位置の連続的な変化量等に基づいて、描画操作であるか、タッチキー操作であるかを判別するようにすればよい。

　なお、視覚的態様を「利用者が行う図形の描画」とするこれらの変形例では、上述した第２実施形態における動作（図６参照）における「ジェスチャ」を「描画」に変更した動作を行うことにより、推奨描画コマンド入力操作の支援処理が行われることになる。

　また、上記の第１及び第２実施例では、キー入力操作及びポインティング入力操作の少なくとも一方により確定的なコマンド入力が行われる入力部としてタッチパネルデバイスを有するタッチパネル部を備えることとしたが、当該確定的なコマンド入力が行われる入力部としてはハードボタン、スイッチ、スライダ等を備えるものであってもよいし、タッチパネル部に加えてハードボタン、スイッチ、スライダ等を備えるものであってもよい。

　また、上記の第１実施例における音声コマンド情報に含まれる発話情報は、音声データ形式であってもよいし、テキスト形式であってもよい。ここで、発話情報が音声データである場合には、音声データを再生して推奨音声コマンド情報を音声案内するようにすればよい。また、発話情報がテキスト形式である場合には、ＴＴＳ（Text To Speech）システムを採用して、テキスト形式の発話情報を読み上げて推奨音声コマンド情報を音声案内するようにすればよい。

　また、上記の第１実施例では、記憶部には、基本コマンドごとの「推奨音声コマンド入力操作」の発話情報が記憶されていることとしたが、記憶部内に、更に所与の語彙を記憶した語彙情報を記憶するようにしてもよい。この場合には、発話情報と語彙情報中の曲名等の語彙とを合成して、音声データや文字列データを生成するようにすればよい。

　また、上記の第１実施例において、収音部１２１を利用して行われた音声入力操作と、当該音声入力操作に対応する推奨音声コマンド入力操作との差異の評価を行い、当該評価の結果が所定閾値よりも大きな場合に、推奨音声コマンド入力操作の提示情報を生成するようにしてもよい。上記の第２実施例において、撮影部１２３を利用して行われたジェスチャ入力操作と、当該ジェスチャ入力操作に対応する推奨ジェスチャコマンド入力操作との差異の評価を行い、当該評価の結果が所定閾値よりも大きな場合に、推奨ジェスチャコマンド入力操作の提示情報を生成するようにしてもよい。

　また、上記の第１実施例では、ステップＳ１１において、利用者により音声入力操作が行われたか否かを判定することとしたが、利用者に指定により、このステップＳ１１の処理を省略するようにしてもよい。この場合には、タッチキー操作に対応する推奨音声コマンド入力操作を利用者に提示するため、処理装置の新規購入者等に対する音声コマンドの学習を図ることができる。また、上記の第１実施例では、ステップＳ１４において、特定された入力コマンドに対応する推奨音声コマンド入力操作の利用者への提示が、所定回数以下であるか否かを判定することとしたが、利用者に指定により、このステップＳ１４の処理を省略するようにしてもよい。この場合には、入力されたコマンドに対応する推奨音声コマンド入力操作を、利用者に常時、提示することができる。

　また、上記の第２実施例では、ステップＳ２１において、利用者によりジェスチャ入力操作が行われたか否かを判定することとしたが、利用者に指定により、このステップＳ２１の処理を省略するようにしてもよい。この場合には、タッチキー操作に対応する推奨ジェスチャコマンド入力操作を利用者に提示するため、処理装置の新規購入者等に対するジェスチャコマンドの学習を図ることができる。また、上記の第２実施例では、ステップＳ２４において、特定された入力コマンドに対応する推奨ジェスチャコマンド入力操作の利用者への提示が、所定回数以下であるか否かを判定することとしたが、利用者に指定により、このステップＳ２４の処理を省略するようにしてもよい。この場合には、入力されたコマンドに対応する推奨ジェスチャコマンド入力操作を、利用者に常時、提示することができる。

　また、上記の第１及び第２実施例では、入力部にコマンド入力操作が行われると、対応する推奨コマンド入力操作を利用者に提示することとしたが、利用者の指定により、当該推奨コマンド入力操作を提示しないようにすることもできる。

　また、上記の第１及び第２実施例では、本発明を音響装置に適用したが、ナビゲーション装置や家庭内等に設置されるテレビジョン受信装置等に本発明を適用することができることは勿論である。

　また、上記の第１及び第２実施例では、コンピュータによるプログラムの実行により、抽出部及び提示部の一部の機能を実現するようにしたが、これらの各部の全部又は一部を、専用のＬＳＩ（Large Scale Integrated circuit）等を用いたハードウェアにより構成するようにしてもよい。

Claims

　入力されたコマンドに対応した処理を行う処理装置であって、
　聴覚的態様及び視覚的態様の少なくとも一方である所定態様でのコマンド入力操作によりコマンドの入力が行われる第１コマンド入力部を含む入力部と；
　前記第１コマンド入力部を利用した入力可能なコマンドごとに、前記所定態様での推奨コマンド入力操作の情報を記憶する記憶部と；
　前記入力部を利用したコマンド入力がなされたとき、前記入力されたコマンドに基づいて前記記憶部を参照し、前記入力されたコマンドを、前記第１コマンド入力部を利用して入力する場合の推奨コマンド入力操作の情報を抽出する抽出部と；
　前記抽出された推奨コマンド入力操作の情報に基づいて、前記入力されたコマンドに対応する推奨コマンド入力操作を前記利用者へ提示する提示部と；
　を備える処理装置。
　前記所定態様は、音声であり、
　前記第１コマンド入力部は、前記音声を収音する収音デバイスを備え、
　前記提示部は、音声出力及び文字列表示の少なくとも一方により、前記推奨コマンド入力操作を前記利用者へ提示する、
　ことを特徴とする請求項１に記載の処理装置。
　前記所定態様は、前記利用者が行う少なくとも１つの所定形状の図形の描画であり、
　前記第１コマンド入力部は、描画入力操作が行われる描画入力デバイスを備え、
　前記提示部は、画像表示により、前記推奨コマンド入力操作を前記利用者へ提示する、
　ことを特徴とする請求項１に記載の処理装置。
　前記所定態様は、前記利用者が行うジェスチャであり、
　前記第１コマンド入力部は、前記ジェスチャを撮影する撮影デバイスを備え、
　前記提示部は、画像表示により、前記推奨コマンド入力操作を前記利用者へ提示する、
　ことを特徴とする請求項１に記載の処理装置。
　前記抽出部は、前記利用者により前記第１コマンド入力部に対して前記所定態様でのコマンド入力操作が実行され、前記実行されたコマンド入力操作に対応するコマンドが特定された場合、前記特定されたコマンドに基づいて前記記憶部を参照し、前記特定されたコマンドに対応する推奨コマンド入力操作の情報を抽出する、ことを特徴とする請求項１～４のいずれか一項に記載の処理装置。
　前記入力部は、キー入力操作及びポインティング入力操作の少なくとも一方により確定的なコマンド入力が行われる第２コマンド入力部を更に備え、
　前記抽出部は、前記利用者により前記第２コマンド入力部に対してコマンド入力操作が実行され、前記実行されたコマンド入力操作に対応するコマンドが特定された場合、前記特定されたコマンドに基づいて前記記憶部を参照し、前記特定されたコマンドに対応する推奨コマンド入力操作の情報を抽出する、
　ことを特徴とする請求項１～５のいずれか一項に記載の処理装置。
　前記第２コマンド入力部は、タッチパネルデバイスを備える、ことを特徴とする請求項６に記載の処理装置。
　前記提示部は、前記第１コマンド入力部を利用して行われたコマンド入力操作と前記抽出された推奨コマンド入力操作との差異の評価を行い、前記評価の結果が所定閾値よりも大きな場合に、前記入力されたコマンドに対応する推奨コマンド入力操作の提示を行う、ことを特徴とする請求項１～７のいずれか一項に記載の処理装置。
　前記提示部は、同一のコマンドに対応する推奨コマンド入力操作の提示を、所定回数を限度として行う、ことを特徴とする請求項１～８のいずれか一項に記載の処理装置。
　聴覚的態様及び視覚的態様の少なくとも一方である所定態様でのコマンド入力操作によりコマンドの入力が行われる第１コマンド入力部を含む入力部と；前記第１コマンド入力部を利用した入力可能なコマンドごとに、前記所定態様での推奨コマンド入力操作の情報を記憶する記憶部と；を備え、入力されたコマンドに対応した処理を行う処理装置において使用されるコマンド入力支援方法であって、
　前記入力部を利用したコマンド入力がなされたとき、前記入力されたコマンドに基づいて前記記憶部を参照し、前記入力されたコマンドを、前記第１コマンド入力部を利用して入力する場合の推奨コマンド入力操作の情報を抽出する抽出工程と；
　前記抽出された推奨コマンド入力操作の情報に基づいて、前記入力されたコマンドに対応する推奨コマンド入力操作を前記利用者へ提示する提示工程と；
　を備えるコマンド入力支援方法。
　請求項１０に記載のコマンド入力支援方法を演算部に実行させる、ことを特徴とするコマンド入力支援プログラム。
　請求項１１に記載のコマンド入力支援プログラムが、演算部により読み取り可能に記録されている、ことを特徴とする記録媒体。