JP6942995B2 - 情報処理プログラム、情報処理装置、および情報処理装置の制御方法 - Google Patents

Description

本明細書によって開示される技術は、各種の画像処理を情報処理装置に実行させるための情報処理プログラムに関する。

特許文献１には、コンピュータがユーザの発話を解釈し、音声で指示されたさまざまな操作を実行することが可能な、音声アシスタントプログラムが開示されている。

特開２０１４−２２２５１７号公報

各種の画像処理を実行する画像処理プログラムに対して、ユーザが選択した画像処理を実行することを、音声によって指示したい場合がある。本明細書では、音声アシスタントプログラムを介して、画像処理プログラムに対して音声で処理の実行を指示することが可能な、新規な技術を開示する。

本明細書によって開示される情報処理プログラムは、記憶部と、表示部と、マイクと、を備える情報処理装置のコンピュータに読込まれる情報処理プログラムであって、前記情報処理装置には、前記情報処理装置の前記コンピュータが読み取り可能な画像処理プログラムおよび音声認識プログラムがインストールされており、前記画像処理プログラムは、画像処理を実行するためのプログラムであり、前記音声認識プログラムは、前記マイクを介して入力された音声をテキストデータに変換するためのプログラムであり、前記情報処理プログラムは、前記音声認識プログラムが前記テキストデータを生成した場合に、前記音声認識プログラムから前記テキストデータを取得するテキストデータ取得手段と、取得した前記テキストデータが、前記画像処理プログラムを示す第１文字列および前記画像処理プログラムで行われる画像処理の内容を示す第２文字列を含んでいるか否かを判断する第１判断手段と、前記テキストデータが前記第１文字列および前記第２文字列を含んでいると前記第１判断手段で判断された場合に、前記第２文字列が示す画像処理の内容を示す特定画像を前記表示部に表示させる第１表示手段と、前記画像処理の実行指示を受け付けた場合に、前記第２文字列が示す画像処理の実行を、前記第１文字列が示す前記画像処理プログラムに指示する第１指示手段と、して前記情報処理装置を機能させることを特徴とする。

上記の情報処理プログラムは、画像処理プログラムを示す第１文字列および画像処理の内容を示す第２文字列を、音声認識プログラムから取得することができる。そして、第２文字列が示す画像処理の実行を、第１文字列が示す画像処理プログラムに指示することができる。これにより、音声認識プログラムを介して、画像処理プログラムに対して音声で処理の実行を指示することが可能となる。
以下に、開示例を列挙する。
［開示例１］
記憶部と、表示部と、マイクと、を備える情報処理装置のコンピュータに読込まれる情報処理プログラムであって、
前記情報処理装置には、前記情報処理装置の前記コンピュータが読み取り可能な画像処理プログラムおよび音声認識プログラムがインストールされており、
前記画像処理プログラムは、画像処理を実行するためのプログラムであり、
前記音声認識プログラムは、前記マイクを介して入力された音声をテキストデータに変換するためのプログラムであり、
前記情報処理プログラムは、
前記音声認識プログラムが前記テキストデータを生成した場合に、前記音声認識プログラムから前記テキストデータを取得するテキストデータ取得手段と、
取得した前記テキストデータが、前記画像処理プログラムを示す第１文字列および前記画像処理プログラムで行われる画像処理の内容を示す第２文字列を含んでいるか否かを判断する第１判断手段と、
前記テキストデータが前記第１文字列および前記第２文字列を含んでいると前記第１判断手段で判断された場合に、前記第２文字列が示す画像処理の内容を示す特定画像を前記表示部に表示させる第１表示手段と、
前記画像処理の実行指示を受け付けた場合に、前記第２文字列が示す画像処理の実行を、前記第１文字列が示す前記画像処理プログラムに指示する第１指示手段と、
して前記情報処理装置を機能させることを特徴とする情報処理プログラム。
［開示例２］
前記第１表示手段は、前記特定画像を表示するための特定画像データを前記音声認識プログラムまたは前記画像処理プログラムへ送信することで、前記特定画像を前記音声認識プログラムまたは前記画像処理プログラムに前記表示部へ表示させることを特徴とする開示例１に記載の情報処理プログラム。
［開示例３］
前記第２文字列が示す画像処理の実行結果を示す結果情報を前記画像処理プログラムから受信する結果情報受信手段と、
受信した前記結果情報を前記音声認識プログラムへ送信することで、前記結果情報が示す実行結果を前記音声認識プログラムに出力させる結果情報送信手段と、
して前記情報処理装置をさらに機能させることを特徴とする開示例１または２に記載の情報処理プログラム。
［開示例４］
前記第１文字列が前記テキストデータに含まれていないことが前記第１判断手段によって判断された場合に、前記テキストデータに前記第１文字列に類似する類似文字列が含まれている場合に、前記類似文字列に基づいて前記第１文字列を生成する第１文字列生成手段と、
生成された前記第１文字列を前記音声認識プログラムへ送信することで、前記第１文字列を前記音声認識プログラムに出力させる第１文字列送信手段と、
前記第１文字列送信手段で送信した前記第１文字列の使用可否を示す第１使用情報を前記音声認識プログラムから受信する第１使用情報受信手段と、
受信した前記第１使用情報が前記第１文字列を使用することを示している場合に、前記第１文字列生成手段によって生成された前記第１文字列が示す前記画像処理プログラムに、前記第２文字列が示す画像処理の実行を指示する第２指示手段と、
して前記情報処理装置をさらに機能させることを特徴とする開示例１〜３の何れか１項に記載の情報処理プログラム。
［開示例５］
前記第２文字列が前記テキストデータに含まれていないことが前記第１判断手段によって判断された場合に、前記テキストデータに前記第２文字列に類似する類似文字列が含まれている場合に、前記類似文字列に基づいて前記第２文字列を生成する第２文字列生成手段と、
生成された前記第２文字列を前記音声認識プログラムへ送信することで、前記第２文字列を前記音声認識プログラムに出力させる第２文字列送信手段と、
前記第２文字列送信手段で送信した前記第２文字列の使用可否を示す第２使用情報を前記音声認識プログラムから受信する第２使用情報受信手段と、
受信した前記第２使用情報が前記第２文字列を使用することを示している場合に、前記第２文字列生成手段によって生成された前記第２文字列が示す画像処理の内容を示す特定画像を前記表示部に表示させる第２表示手段と、
前記画像処理の実行指示を受け付けた場合に、前記第２文字列生成手段によって生成された前記第２文字列が示す画像処理の実行を、前記第１文字列が示す前記画像処理プログラムに指示する第３指示手段と、
して前記情報処理装置をさらに機能させることを特徴とする開示例１〜４の何れか１項に記載の情報処理プログラム。
［開示例６］
前記第２表示手段は、前記特定画像を表示するための特定画像データを前記音声認識プログラムまたは前記画像処理プログラムへ送信することで、前記特定画像を前記音声認識プログラムまたは前記画像処理プログラムに前記表示部へ表示させることを特徴とする開示例５に記載の情報処理プログラム。
［開示例７］
前記第１文字列が前記テキストデータに含まれていないことが前記第１判断手段によって判断された場合に、前記第１文字列の候補となる複数の第１候補文字列を生成する第１候補文字列生成手段と、
生成された前記複数の第１候補文字列を前記音声認識プログラムへ送信することで、前記複数の第１候補文字列を前記音声認識プログラムに出力させる第１候補文字列送信手段と、
前記第１候補文字列送信手段で送信した前記複数の第１候補文字列のうちから選択された選択第１文字列を示す選択第１文字列情報を前記音声認識プログラムから受信する選択第１文字列情報受信手段と、
受信した前記選択第１文字列情報が示す前記選択第１文字列が示す前記画像処理プログラムに、前記第２文字列が示す画像処理の実行を指示する第４指示手段と、
して前記情報処理装置をさらに機能させることを特徴とする開示例１〜６の何れか１項に記載の情報処理プログラム。
［開示例８］
前記第２文字列が前記テキストデータに含まれていないことが前記第１判断手段によって判断された場合に、前記第２文字列の候補となる複数の第２候補文字列を生成する第２候補文字列生成手段と、
生成された前記複数の第２候補文字列を前記音声認識プログラムへ送信することで、前記複数の第２候補文字列を前記音声認識プログラムに出力させる第２候補文字列送信手段と、
前記第２候補文字列送信手段で送信した前記複数の第２候補文字列のうちから選択された選択第２文字列を示す選択第２文字列情報を前記音声認識プログラムから受信する選択第２文字列情報受信手段と、
受信した前記選択第２文字列情報が示す前記選択第２文字列が示す画像処理の内容を示す特定画像を前記表示部に表示させる第３表示手段と、
前記画像処理の実行指示を受け付けた場合に、前記選択第２文字列が示す画像処理の実行を、前記第１文字列が示す前記画像処理プログラムに指示する第５指示手段と、
して前記情報処理装置をさらに機能させることを特徴とする開示例１〜７の何れか１項に記載の情報処理プログラム。
［開示例９］
前記第３表示手段は、前記特定画像を表示するための特定画像データを前記音声認識プログラムまたは前記画像処理プログラムへ送信することで、前記特定画像を前記音声認識プログラムまたは前記画像処理プログラムに前記表示部へ表示させることを特徴とする開示例８に記載の情報処理プログラム。
［開示例１０］
前記第１文字列が前記テキストデータに含まれていないことが前記第１判断手段によって判断された場合に、前記第１文字列の入力を要求する第１要求情報を前記音声認識プログラムへ送信することで、前記第１文字列の入力を前記音声認識プログラムに受け付けさせる第１要求情報送信手段と、
前記第１文字列を前記音声認識プログラムから受信する第１文字列受信手段と、
受信した前記第１文字列が示す前記画像処理プログラムに、前記第２文字列が示す画像処理の実行を指示する第６指示手段と、
して前記情報処理装置をさらに機能させることを特徴とする開示例１〜９の何れか１項に記載の情報処理プログラム。
［開示例１１］
前記第２文字列が前記テキストデータに含まれていないことが前記第１判断手段によって判断された場合に、前記第２文字列の入力を要求する第２要求情報を前記音声認識プログラムへ送信することで、前記第２文字列の入力を前記音声認識プログラムに受け付けさせる第２要求情報送信手段と、
前記第２文字列を前記音声認識プログラムから受信する第２文字列受信手段と、
受信した前記第２文字列が示す画像処理の内容を示す特定画像を前記表示部に表示させる第４表示手段と、
前記画像処理の実行指示を受け付けた場合に、受信した前記第２文字列が示す画像処理の実行を、前記第１文字列が示す前記画像処理プログラムに、指示する第７指示手段と、
して前記情報処理装置をさらに機能させることを特徴とする開示例１〜１０の何れか１項に記載の情報処理プログラム。
［開示例１２］
前記第４表示手段は、前記特定画像を表示するための特定画像データを前記音声認識プログラムまたは前記画像処理プログラムへ送信することで、前記特定画像を前記音声認識プログラムまたは前記画像処理プログラムに前記表示部へ表示させることを特徴とする開示例１１に記載の情報処理プログラム。
［開示例１３］
前記第２文字列が示す前記画像処理で用いられる設定情報が前記テキストデータに含まれているか否かを示す第１情報を取得する第１情報取得手段と、
前記テキストデータが前記設定情報を含んでいることを前記第１情報が示している場合に、前記設定情報を前記テキストデータから抽出する抽出手段と、
して前記情報処理装置をさらに機能させ、
前記第１指示手段は、前記抽出手段が抽出した前記設定情報に従って前記画像処理を実行することを前記画像処理プログラムに指示することを特徴とする開示例１〜１２の何れか１項に記載の情報処理プログラム。
［開示例１４］
記憶部と、表示部と、マイクと、コンピュータと、を備える情報処理装置であって、
前記情報処理装置には、前記情報処理装置の前記コンピュータが読み取り可能な画像処理プログラム、音声認識プログラム、および情報処理プログラムがインストールされており、
前記画像処理プログラムは、画像処理を実行するためのプログラムであり、
前記音声認識プログラムは、前記マイクを介して入力された音声をテキストデータに変換するためのプログラムであり、
前記情報処理プログラムは、
前記音声認識プログラムが前記テキストデータを生成した場合に、前記音声認識プログラムから前記テキストデータを取得するテキストデータ取得手段と、
取得した前記テキストデータが、前記画像処理プログラムを示す第１文字列および前記画像処理プログラムで行われる画像処理の内容を示す第２文字列を含んでいるか否かを判断する第１判断手段と、
前記テキストデータが前記第１文字列および前記第２文字列を含んでいると前記第１判断手段で判断された場合に、前記第２文字列が示す画像処理の内容を示す特定画像を前記表示部に表示させる第１表示手段と、
前記画像処理の実行指示を受け付けた場合に、前記第２文字列が示す画像処理の実行を、前記第１文字列が示す前記画像処理プログラムに指示する第１指示手段と、
して前記コンピュータを機能させるプログラムであることを特徴とする情報処理装置。
［開示例１５］
記憶部と、表示部と、マイクと、コンピュータと、を備える情報処理装置の制御方法であって、
前記情報処理装置には、前記情報処理装置の前記コンピュータが読み取り可能な画像処理プログラム、音声認識プログラム、および情報処理プログラムがインストールされており、
前記画像処理プログラムは、画像処理を実行するためのプログラムであり、
前記音声認識プログラムは、前記マイクを介して入力された音声をテキストデータに変換するためのプログラムであり、
前記情報処理プログラムは、
前記音声認識プログラムが前記テキストデータを生成した場合に、前記音声認識プログラムから前記テキストデータを取得するテキストデータ取得ステップと、
取得した前記テキストデータが、前記画像処理プログラムを示す第１文字列および前記画像処理プログラムで行われる画像処理の内容を示す第２文字列を含んでいるか否かを判断する第１判断ステップと、
前記テキストデータが前記第１文字列および前記第２文字列を含んでいると前記第１判断ステップで判断された場合に、前記第２文字列が示す画像処理の内容を示す特定画像を前記表示部に表示させる第１表示ステップと、
前記画像処理の実行指示を受け付けた場合に、前記第２文字列が示す画像処理の実行を、前記第１文字列が示す前記画像処理プログラムに指示する第１指示ステップと、
を前記コンピュータに実行させるプログラムであることを特徴とする制御方法。

通信システムの構成を示す。 通信システムの動作シーケンス図を示す。 通信システムの動作シーケンス図を示す。 通信システムの動作シーケンス図を示す。

（通信システム１０の構成）
図１は、通信システム１０の構成を示すブロック図である。通信システム１０は、情報処理装置１００、ＭＦＰ５１を備えている。ここで、ＭＦＰとは、印刷機能、スキャン機能、コピー機能等を備える多機能周辺装置（Multifunction Peripheralとも称する）を示す。

情報処理装置１００は、例えば携帯電話や携帯端末装置などの携帯型の装置である。情報処理装置１００は、表示手段１０２、タッチパネル１０３、入力Ｉ／Ｆ１０４、無線ＬＡＮ＿Ｉ／Ｆ１０５、ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０９、マイク１１１などを備えており、これらは入出力ポート１１０を介して互いに接続されている。なおＩ／Ｆとは、Interfaceの略である。

表示手段１０２は、ＣＰＵ１０６から出力される画信号を受信し、受信した画信号に基づく画像を表示する。表示手段１０２としては、例えばＬＣＤ（Liquid Crystal Displayとも称する）や、有機ＥＬ(Organic Electro-Luminescenceとも称する)パネルなどを用いることができる。タッチパネル１０３は透明な部材により形成され、表示手段１０２の表面を覆うようにして配設されている。タッチパネル１０３は、ユーザの指などによりタッチされた位置を検出し、検出した位置情報をＣＰＵ１０６へ出力する。入力Ｉ／Ｆ１０４は、例えば操作ボタンである。

無線ＬＡＮ＿Ｉ／Ｆ１０５は、無線ＬＡＮステーションとしての通信を行うＩ／Ｆである。無線ＬＡＮ＿Ｉ／Ｆ１０５は、Ｗｉ−Ｆｉ(Wi-Fi Allianceの登録商標)のインフラストラクチャーモードに準拠した通信や、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ(Wi-Fi Allianceの登録商標)に準拠した通信を行う。無線ＬＡＮ＿Ｉ／Ｆ１０５は、無線通信１５１および１５４と、アクセスポイント５０１を介して、ＭＦＰ５１と各種のデータを通信する。

ＣＰＵ１０６は、記憶部１０９に記憶されるプログラムを実行する。ＲＡＭ１０８は、ＣＰＵ１０６の処理に必要な情報を一時的に記憶する。記憶部１０９は、フラッシュメモリ、ＨＤＤ（ハードディスクとも呼称する）、ＣＰＵ１０６が備えるバッファなどが組み合わされて構成されている。記憶部１０９には、画像データや、文書データなどが記憶可能である。

記憶部１０９は、プログラム１２０を記憶している。ＣＰＵ１０６は、プログラム１２０に従って処理を実行する。記憶部１０９は、コンピュータが読み取り可能なストレージ媒体であってよい。コンピュータが読み取り可能なストレージ媒体とは、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ハードディスクなどのnon-transitoryな媒体である。

プログラム１２０は、印刷装置制御プログラム１２３、音声認識プログラム１２５、および、オペレーティングシステム１２４（以下、ＯＳ１２４とも記載する）を含んでいる。印刷装置制御プログラム１２３は、プリント／スキャンプログラム１２１、および仲介プログラム１２２を含んでいる。

プリント／スキャンプログラム１２１は、ＭＦＰ５１に印刷処理やスキャン処理などの各種の画像処理を実行させるためのプログラムである。またプリント／スキャンプログラム１２１は、印刷処理で用いる画像データを生成し送信したり、スキャン処理によってＭＦＰ５１で生成された画像データを受信することができる。本実施例の説明例では、プリント／スキャンプログラム１２１の名称が「プリントスキャンアプリ」である場合を説明する。

仲介プログラム１２２は、プリント／スキャンプログラム１２１の機能を拡張するためのプログラムである。すなわち仲介プログラム１２２は、プリント／スキャンプログラム１２１のプラグイン機能を有するプログラムである。仲介プログラム１２２は、プリント／スキャンプログラム１２１と音声認識プログラム１２５との間での、各種の情報の通信を仲介する機能を有する。仲介プログラム１２２は、音声認識プログラム１２５やプリント／スキャンプログラム１２１に呼び出されて実行されてもよい。

音声認識プログラム１２５は、ユーザがマイク１１１を介して入力した音声を、音声認識技術を用いてテキストデータに変換する。また、自然言語処理を用いて、変換されたテキストデータの内容を解釈する。これにより、音声による各種の指示を受け付けるとともに、指示に応じた処理を実行することが可能となる。音声認識プログラム１２５の一例としては、Ｓｉｒｉ（Apple Inc.の登録商標）やＣｏｒｔａｎａ（Microsoft Corporationの登録商標）が挙げられる。

ＯＳ１２４は、仲介プログラム１２２やプリント／スキャンプログラム１２１等に共通して利用される、基本的な機能を提供するプログラムである。本実施形態では、ＯＳ１２４がｉＯＳ（Cisco Systemsの登録商標）である場合を説明する。仲介プログラム１２２、プリント／スキャンプログラム１２１、音声認識プログラム１２５等は、ＯＳ１２４が提供するＡＰＩを用いてＯＳ１２４に対する各種指示を出力する。すなわち、音声認識プログラム１２５やプリント／スキャンプログラム１２１等は、ＯＳ１２４を介して、情報処理装置１００の各部にＯＳ１２４を介して指示を行う。指示の結果は、ＯＳ１２４から音声認識プログラム１２５やプリント／スキャンプログラム１２１等に対して出力される。

以降、仲介プログラム１２２や音声認識プログラム１２５など、プログラムを実行するＣＰＵ１０６のことを、単にプログラム名でも記載することにする場合がある。例えば「仲介プログラム１２２は」という記載は、仲介プログラム１２２を実行するＣＰＵ１０６は」を意味する場合がある。

また記憶部１０９には、比較用第１文字列、比較用第２文字列、複数の第１候補文字列、複数の第２候補文字列が予め記憶されている。これらの文字列の内容は、後述する。比較用第１文字列および比較用第２文字列は、仲介プログラム１２２の作成者によって作成され、仲介プログラム１２２のインストール時に記憶部１０９に記憶されるとしてもよい。第１候補文字列や第２候補文字列は、ユーザによって記憶部１０９に記憶されるとしてもよい。

（通信システムの動作）
通信システム１０の動作を、図２〜図４のシーケンス図を用いて説明する。本実施例の説明例では、音声認識プログラム１２５が「Ｓｉｒｉ」（Apple Inc.の登録商標）である場合を説明する。

通信システム１０を構築するための事前準備について説明する。プリント／スキャンプログラム１２１の作成者は、プリント／スキャンプログラム１２１のコードに、音声認識プログラム１２５と通信可能であることを宣言する宣言文字列を含ませる。作成者は、プリント／スキャンプログラム１２１および仲介プログラム１２２を、不図示のサーバにアップロードする。ユーザは、プリント／スキャンプログラム１２１および仲介プログラム１２２をサーバからダウンロードし、情報処理装置１００にインストールする。ＯＳ１２４は、プリント／スキャンプログラム１２１内の宣言文字列を検出することで、音声認識プログラム１２５とプリント／スキャンプログラム１２１とが連携する関係にあることを認識する。これにより、仲介プログラム１２２が、音声認識プログラム１２５とプリント／スキャンプログラム１２１との間の通信を仲介することが可能となる。

情報処理装置１００で音声認識プログラム１２５が起動されると、図２のフローが開始される。Ｓ１１０において音声認識プログラム１２５は、マイク１１１からの音声入力を受け付ける。Ｓ１２０において音声認識プログラム１２５は、音声入力をテキストデータに変換する変換処理を実行する。Ｓ１３０において音声認識プログラム１２５は、テキストデータを解釈する。そして、ドメイン、第１文字列、第２文字列を特定する。

ドメインは、音声認識プログラム１２５で実行可能なタスクを定義する情報である。ドメインには、複数の種類が存在する。そしてドメインの種類ごとに、そのドメインを使用するためのルールが定められている。ドメインの例としては、「メッセージ送信」、「ワークアウト」、「写真検索」などが挙げられる。「メッセージ送信」は、メールを用いてメッセージを送信するドメインである。「メッセージ送信」のドメインを使用するためのルールの一例としては、入力音声中に「メッセージを送信」という文字列を含めることが挙げられる。「ワークアウト」は、運動中に進捗状況を知らせるドメインである。「ワークアウト」のドメインを使用するためのルールの一例としては、入力音声中に「開始」という文字列を含めることが挙げられる。「写真検索」は、記憶部１０９に記憶されている複数の写真データのうちから、所望の写真データを検索するドメインである。

ドメインには、第１種ドメインと第２種ドメインが存在する。第１種ドメインは処理の内容を指定できるドメインであり、第２種ドメインは処理の内容を指定できないドメインである。処理の内容を指定する態様の一例としては、画像処理で用いられる設定情報を指定する態様が挙げられる。設定情報の一例としては、用紙サイズ、印刷解像度、カラー印刷またはモノクロ印刷の設定、スキャン解像度、などが挙げられる。すなわち、第１種ドメインは、画像処理で用いられる設定情報がテキストデータに含まれていることを示すドメインである。また第２種ドメインは、画像処理で用いられる設定情報がテキストデータに含まれていないことを示すドメインである。第１種ドメインの一例としては「メッセージ送信」が挙げられる。第２種ドメインの一例としては「ワークアウト」が挙げられる。

第１文字列は、プリント／スキャンプログラム１２１を識別するための文字列である。第１文字列は、プリント／スキャンプログラム１２１の名称や略称であってもよい。第２文字列は、プリント／スキャンプログラム１２１で行われる画像処理の内容を示す文字列である。第２文字列の一例としては、「印刷」「スキャン」等が挙げられる。

本実施例の説明例では、Ｓ１１０において「“プリントスキャンアプリを使ってＡ４で印刷”というメッセージを送信」という音声入力を受け付けた場合を説明する。この場合、入力音声中に「メッセージを送信」という文字列が含まれているため、ドメインが「メッセージ送信」であると特定される。第１文字列として、「プリントスキャンアプリ」が特定される。第２文字列として、「印刷」が特定される。ドメインが「メッセージ送信」であるため、設定情報を指定可能であると判断される。そして、設定情報として「Ａ４」が特定される。

なお、Ｓ１３０においてドメイン、第１文字列、第２文字列の少なくとも何れか一方が特定できなかった場合には、音声認識プログラム１２５は、特定できなかったドメインまたは文字列をユーザに聞き直してもよい。また、設定情報を指定可能である場合（すなわち、第１種ドメインである場合）に、設定情報が特定できなかった場合には、音声認識プログラム１２５は、設定情報をユーザに聞き直してもよいし、聞き直さなくてもよい。

Ｓ１４０において音声認識プログラム１２５は、仲介プログラム１２２を起動する。Ｓ１５０において音声認識プログラム１２５は、ドメイン、第１文字列、第２文字列を含んだテキストデータを、仲介プログラム１２２へ送信する。ドメインが第１種ドメインである場合には、テキストデータには、設定情報も含まれている。本実施例の説明例では、「メッセージ送信」のドメイン、「プリントスキャンアプリ」の第１文字列、「印刷」の第２文字列、「Ａ４」の設定情報を含んだテキストデータが、送信される。

Ｓ１６０において仲介プログラム１２２は、受信したテキストデータに含まれているドメインの種別を判断する。本実施例の説明例では、ドメインが「メッセージ送信」であると判断される。Ｓ１６５において仲介プログラム１２２は、ドメインの判断結果を記憶部１０９に一時的に記憶させる。

Ｓ１７０において仲介プログラム１２２は、Ｓ１５０で受信したテキストデータ内に、画像処理の実行をプリント／スキャンプログラム１２１に指示するために必要な情報が全て含まれているかを判断する。具体的には、ドメインが第２種ドメインであることがＳ１６０で判断された場合には、第１文字列および第２文字列が含まれているかを判断する。一方、ドメインが第１種ドメインであることがＳ１６０で判断された場合には、第１文字列および第２文字列に加えて、設定情報が含まれているかを判断する。肯定判断される場合（Ｓ１７０：ＹＥＳ）には、Ｓ１８０へ進む。

Ｓ１８０において仲介プログラム１２２は、成功情報、第１文字列、第２文字列、設定情報を、音声認識プログラム１２５へ送信する。成功情報は、画像処理の実行をプリント／スキャンプログラム１２１に指示するために必要な情報の全てを取得したことを示す情報である。なおドメインが第２種ドメインである場合には、設定情報は送信されない。

一方、Ｓ１７０において否定判断される場合（Ｓ１７０：ＮＯ）には、Ｓ２００へ進む。Ｓ２００において仲介プログラム１２２は、第１文字列または／および第２文字列を推測可能であるか否かを判断する。具体的には、第１文字列に類似する第１類似文字列や、第２文字列に類似する第２類似文字列が、テキストデータに含まれているか否かを判断する。第１および第２類似文字列は、ユーザが言い間違えた場合や、音声認識に失敗した場合に生成される文字列である。第１文字列が「プリントスキャンアプリ」である場合の、言い間違えによる第１類似文字列の例としては、「プリントアプリ」、「スキャンアプリ」などが挙げられる。また、音声認識の失敗による第１類似文字列の例としては、「プリントゥスキャアップル」などが挙げられる。

Ｓ２００の判断は、記憶部１０９に予め記憶されている比較用第１文字列および比較用第２文字列を用いて行われてもよい。比較用第１文字列の一例としては、プリント／スキャンプログラム１２１の名称である「プリントスキャンアプリ」が挙げられる。比較用第２文字列の一例としては、「印刷」、「スキャン」が挙げられる。

Ｓ２００において肯定判断される場合（Ｓ２００：ＹＥＳ）には、Ｓ２１０へ進む。Ｓ２１０において仲介プログラム１２２は、テキストデータに第１類似文字列が含まれている場合には、第１類似文字列に基づいて第１文字列を推測する。具体的には、第１文字列が、第１類似文字列に対応する比較用第１文字列と同一である、と推測する。例えば、第１類似文字列が「プリントアプリ」である場合には、第１文字列は、比較用第１文字列である「プリントスキャンアプリ」と同一であると推測する。また、テキストデータに第２類似文字列が含まれている場合には、第２類似文字列に基づいて第２文字列を推測する。具体的には、第２文字列が、第２類似文字列に対応する比較用第２文字列と同一である、と推測する。

Ｓ２２０において仲介プログラム１２２は、Ｓ２１０で推測された第１文字列または／および第２文字列を、音声認識プログラム１２５へ送信する。

Ｓ２３０において音声認識プログラム１２５は、推測された第１文字列または／および第２文字列が正しいか否かについて、ユーザに問い合わせる。ユーザへの問合せは、音声および画面表示の少なくとも一方によって行われてもよい。例えば、第１類似文字列が「プリントアプリ」である場合には、『「プリントアプリ」ではなく、「プリントスキャンアプリ」で正しいですか？』という文章を音声で読み上げるとともに、音声認識プログラム１２５の表示画面中に表示してもよい。

Ｓ２４０において音声認識プログラム１２５は、ユーザによる回答の入力を受け付ける。回答の入力受付は、「はい」または「いいえ」という音声入力をマイク１１１を介して受信することで行われてもよい。

Ｓ２５０において音声認識プログラム１２５は、第１使用情報または／および第２使用情報を生成し、仲介プログラム１２２へ送信する。第１使用情報は、推測された第１文字列を使用することが可能か否かを示す情報である。推測された第１文字列が正しいという回答がＳ２４０において受け付けられた場合には、第１使用情報は、推測された第１文字列を使用することが可能であることを示す内容になる。一方、推測された第１文字列が正しくないという回答がＳ２４０において受け付けられた場合には、第１使用情報は、推測された第１文字列を使用することができないことを示す内容になる。同様に、第２使用情報は、推測された第２文字列を使用することが可能か否かを示す情報である。

Ｓ２６０において仲介プログラム１２２は、推測した第１文字列または／および第２文字列が使用可能であることを、第１使用情報または／および第２使用情報が示しているか否かを判断する。肯定判断される場合（Ｓ２６０：ＹＥＳ）には、Ｓ２７０へ進む。Ｓ２７０の処理内容は、前述したＳ１８０の内容と同様である。

一方、Ｓ２６０において否定判断される場合（Ｓ２６０：ＮＯ）には、Ｓ３００へ進む。Ｓ３００において仲介プログラム１２２は、第１文字列または／および第２文字列の選択候補を複数生成することが可能であるか否かを判断する。当該判断は、例えば、第１文字列の候補となる複数の第１候補文字列や、第２文字列の候補となる複数の第２候補文字列が、記憶部１０９に記憶されているか否かによって行われてもよい。複数の第１候補文字列の一例としては、「プリントスキャンアプリ」、「ブラウザアプリ」などが挙げられる。複数の第２候補文字列の一例としては、「印刷」、「スキャン」などが挙げられる。

Ｓ３００において肯定判断される場合（Ｓ３００：ＹＥＳ）には、Ｓ３１０へ進む。Ｓ３１０において仲介プログラム１２２は、複数の第１候補文字列または／および複数の第２候補文字列を生成する。具体的には、例えば、記憶部１０９に記憶されている複数の第１候補文字列または／および複数の第２候補文字列を読み出してもよい。

Ｓ３２０において仲介プログラム１２２は、Ｓ３１０で生成された複数の第１候補文字列または／および複数の第２候補文字列を、音声認識プログラム１２５へ送信する。

Ｓ３３０において音声認識プログラム１２５は、複数の第１候補文字列または／および複数の第２候補文字列のうちから、１つの第１文字列または／および第２文字列を選択することを、ユーザに要求する。ユーザへの要求は、音声および画面表示の少なくとも一方によって行われてもよい。例えば、複数の第２候補文字列が存在する場合には、『実行する処理は、「印刷」、「スキャン」のうちのどれですか？』という文章を音声で読み上げるとともに、音声認識プログラム１２５の表示画面中に表示してもよい。

Ｓ３４０において音声認識プログラム１２５は、ユーザによる選択の入力を受け付ける。選択の入力受付は、例えば、「印刷」という音声入力をマイク１１１を介して受信することで行われてもよい。

Ｓ３５０において音声認識プログラム１２５は、選択第１文字列情報または／および選択第２文字列情報を生成し、仲介プログラム１２２へ送信する。選択第１文字列情報は、複数の第１候補文字列のうちからユーザによって選択された選択第１文字列を示す情報である。選択第２文字列情報は、複数の第２候補文字列のうちからユーザによって選択された選択第２文字列を示す情報である。

Ｓ３６０において仲介プログラム１２２は、選択第１文字列または／および選択第２文字列が正しいか否かを判断する。具体的には、選択第１文字列がプリント／スキャンプログラム１２１の名称を示しているか、選択第２文字列がプリント／スキャンプログラム１２１で実行可能な画像処理を示しているか、を判断する。例えばプリント／スキャンプログラム１２１がファックス処理を実行できない場合において、選択第２文字列が「ファックス」である場合には、選択第２文字列が正しくないと判断される。肯定判断される場合（Ｓ３６０：ＹＥＳ）には、Ｓ３７０へ進む。Ｓ３７０の処理内容は、前述したＳ１８０の内容と同様である。

一方、Ｓ３６０において否定判断される場合（Ｓ３６０：ＮＯ）には、Ｓ４２０へ進む。Ｓ４２０において仲介プログラム１２２は、第１要求情報、第２要求情報、および設定要求情報の少なくとも１つを、音声認識プログラム１２５へ送信する。第１要求情報、第２要求情報、および設定要求情報の各々は、第１文字列、第２文字列、設定情報、の各々の入力をユーザに要求する処理を実行することを、音声認識プログラム１２５に指示するための情報である。

Ｓ４３０において音声認識プログラム１２５は、第１文字列、第２文字列、設定情報、の少なくとも１つを入力することを、ユーザへ要求する。ユーザへの要求は、音声および画面表示の少なくとも一方によって行われてもよい。例えば、第２文字列が「印刷」である場合に、設定情報の入力を要求する場合には、『印刷で用いる用紙サイズを入力して下さい』という文章を音声で読み上げるとともに、音声認識プログラム１２５の表示画面中に表示してもよい。

Ｓ４４０において音声認識プログラム１２５は、ユーザによる第１文字列などの入力を受け付ける。第１文字列などの入力受付は、音声入力をマイク１１１を介して受信することで行われてもよい。Ｓ４５０において音声認識プログラム１２５は、Ｓ４４０で入力された第１文字列、第２文字列、設定情報、の少なくとも１つを、仲介プログラム１２２へ送信する。

Ｓ４６０において仲介プログラム１２２は、受信した第１文字列、第２文字列、設定情報、の少なくとも１つが、正しいか否かを判断する。具体的な判断内容は、前述したＳ３６０の内容と同様である。否定判断される場合（Ｓ４６０：ＮＯ）にはＳ４２０へ戻り、肯定判断される場合（Ｓ４６０：ＹＥＳ）にはＳ４７０へ進む。Ｓ４７０の処理内容は、前述したＳ１８０の内容と同様である。

Ｓ１８０、Ｓ２７０、Ｓ３７０、Ｓ４７０の処理が行われた場合には、Ｓ５１０へ進む。Ｓ５１０において音声認識プログラム１２５は、最終確認処理の実行を仲介プログラム１２２に指示する。最終確認処理は、ユーザによって指示された画像処理をプリント／スキャンプログラム１２１に実行させてよいか否かを、ユーザに確認する処理である。

Ｓ５１５において仲介プログラム１２２は、最終確認処理を実行可能な状態であるか否かを判断する。例えば、画像処理の実行をプリント／スキャンプログラム１２１に指示するために必要な情報が、全て揃っているか否かを判断する。否定判断される場合（Ｓ５１５：ＮＯ）にはフローを終了し、肯定判断される場合（Ｓ５１５：ＹＥＳ）にはＳ５２０へ進む。

Ｓ５２０において仲介プログラム１２２は、最終動作確認画像を音声認識プログラム１２５に表示させるために用いられる最終動作確認画像データを、音声認識プログラム１２５へ送信する。最終動作確認画像は、第２文字列が示す画像処理をプリント／スキャンプログラム１２１に実行させてよいか否かを、ユーザに問い合わせるための画像である。

Ｓ５２５において音声認識プログラム１２５は、最終動作確認画像を表示手段１０２に表示させる。本実施例の説明例では、「プリントスキャンアプリを用いてＡ４サイズで印刷してよいですか」という文章が、音声認識プログラム１２５の表示画面中に表示される場合を説明する。

Ｓ５３０において音声認識プログラム１２５は、ユーザによる回答の入力を受け付ける。回答の入力受付は、「はい」または「いいえ」という音声入力をマイク１１１を介して受信することで行われてもよい。Ｓ５４０において音声認識プログラム１２５は、画像処理の実行を許可する回答が入力されたか否かを判断する。否定判断される場合（Ｓ５４０：ＮＯ）には処理を終了し、肯定判断される場合（Ｓ５４０：ＹＥＳ）にはＳ５６０へ進む。Ｓ５６０において音声認識プログラム１２５は、画像処理の実行を仲介プログラム１２２に指示する。Ｓ５７０において仲介プログラム１２２は、プリント／スキャンプログラム１２１を起動する。

Ｓ５７２において仲介プログラム１２２は、今回使用しているドメインが、処理の内容を指定できる第１種ドメインであるか、処理の内容を指定できない第２種ドメインであるかを判断する。この判断は、Ｓ１６５で記憶部１０９に記憶させた判断結果を用いて行うことができる。第２種ドメインであると判断された場合（Ｓ５７２：第２種ドメイン）には、Ｓ５７４へ進む。Ｓ５７４において仲介プログラム１２２は、第２文字列が示す画像処理の実行を、プリント／スキャンプログラム１２１に指示する。本実施例の説明例では、印刷処理を実行することを指示する場合を説明する。

一方、今回使用されているドメインが第１種ドメインであると判断された場合（Ｓ５７２：第１種ドメイン）には、Ｓ５７６へ進む。Ｓ５７６において仲介プログラム１２２は、設定情報を抽出する。Ｓ５８０において仲介プログラム１２２は、第２文字列が示す画像処理を、Ｓ５７６で抽出した設定情報に基づいて実行することを、プリント／スキャンプログラム１２１に指示する。本実施例の説明例では、印刷処理を「Ａ４サイズ」で実行することを指示する場合を説明する。

Ｓ５９０においてプリント／スキャンプログラム１２１は、第２文字列が示す画像処理を実行する。このとき、画像処理の実行対象となる画像データを、ユーザに選択させてもよい。そして、選択された画像データを、無線通信１５１および１５４を介してＭＦＰ５１へ送信することで、ＭＦＰ５１に画像処理を実行させてもよい。本実施例の説明例では、ユーザが選択した画像データをＭＦＰ５１に送信することで、ＭＦＰ５１がＡ４サイズの印刷用紙に印刷処理を実行してもよい。

Ｓ６００において仲介プログラム１２２は、第２文字列が示す画像処理を実行した結果を示す結果情報を、プリント／スキャンプログラム１２１から受信する。実行結果は、例えば、画像処理の成否、エラーの有無、などを含んでもよい。Ｓ６１０において仲介プログラム１２２は、結果情報を音声認識プログラム１２５へ送信する。Ｓ６２０において音声認識プログラム１２５は、結果情報をユーザへ報知する。ユーザへの報知は、音声および画面表示の少なくとも一方によって行われてもよい。例えば、『プリントスキャンアプリでの印刷処理が完了しました』という文章を音声で読み上げるとともに、音声認識プログラム１２５の表示画面中に表示してもよい。

（効果）
仲介プログラム１２２は、プリント／スキャンプログラム１２１を示す第１文字列、および、画像処理の内容を示す第２文字列を、音声認識プログラム１２５から取得することができる（Ｓ１５０）。そして、第２文字列が示す画像処理の実行を、プリント／スキャンプログラム１２１に指示することができる（Ｓ５７４、Ｓ５８０）。これにより、音声認識プログラム１２５を介して、プリント／スキャンプログラム１２１に対して、音声によって画像処理の実行を指示することが可能となる。

仲介プログラム１２２は、最終動作確認画像データを音声認識プログラム１２５へ送信（Ｓ５２０）することで、最終動作確認画像を音声認識プログラム１２５に表示（Ｓ５２５）させることができる。そして、画像処理の実行指示をユーザから受け付けた場合（Ｓ５４０：ＹＥＳ）に、画像処理の実行を、プリント／スキャンプログラム１２１に指示することができる（Ｓ５７４、Ｓ５８０）。これにより、画像処理の実行可否を、ユーザに対して最終確認することが可能となる。

仲介プログラム１２２は、画像処理の実行結果を示す結果情報をプリント／スキャンプログラム１２１から受信（Ｓ６００）し、受信した結果情報を音声認識プログラム１２５へ送信（Ｓ６１０）することで、処理結果を音声認識プログラム１２５に出力（Ｓ６２０）させることができる。これにより、画像処理の実行結果を、音声および画面表示の少なくとも一方を用いてユーザへ報知することが可能となる。

仲介プログラム１２２は、第１文字列または／および第２文字列がテキストデータに含まれていない場合（Ｓ１７０：ＮＯ）に、テキストデータに第１類似文字列または／および第２類似文字列が含まれている場合（Ｓ２００：ＹＥＳ）には、第１文字列または／および第２文字列を推測することができる（Ｓ２１０）。そして、推測した第１文字列または／および第２文字列の使用可否をユーザへ問い合わせる処理を、音声認識プログラム１２５に実行させることができる（Ｓ２２０〜Ｓ２５０）。これにより、ユーザがプリント／スキャンプログラム１２１の名称を間違えて覚えていたり、音声認識プログラム１２５での音声認識に失敗してテキストデータの一部がエラーになった場合においても、正しい第１文字列または／および第２文字列を取得することが可能となる。

仲介プログラム１２２は、第１文字列または／および第２文字列がテキストデータに含まれていない場合（Ｓ１７０：ＮＯ）には、複数の第１候補文字列または／および複数の第２候補文字列を生成することができる（Ｓ３１０）。そして、複数の第１候補文字列または／および複数の第２候補文字列のうちから選択第１文字列または／および選択第２文字列を選択するユーザ操作を、音声認識プログラム１２５に受け付けさせることができる（Ｓ３２０〜Ｓ３５０）。選択肢をユーザに提示した上で選択を受け付けることができるため、ユーザの利便性を高めることが可能となる。

仲介プログラム１２２は、第１文字列または／および第２文字列がテキストデータに含まれていない場合（Ｓ１７０：ＮＯ）には、第１文字列または／および第２文字列の入力をユーザへ要求する処理を、音声認識プログラム１２５に実行させることができる（Ｓ４２０〜Ｓ４５０）。これにより、ユーザは、音声によって第１文字列または／および第２文字列を入力することが可能となる（Ｓ４４０）。タッチパネル１０３を用いて第１文字列または／および第２文字列を入力する場合に比して、ユーザの負担を低減することが可能となる。

仲介プログラム１２２は、Ｓ１５０で音声認識プログラム１２５から取得（Ｓ１５０）したドメインに基づいて、テキストデータに設定情報が含まれているか否かを判断（Ｓ１７０）することができる。テキストデータに設定情報が含まれていると判断した場合（Ｓ５７２：第１種ドメイン）には、設定情報を抽出（Ｓ５７６）することができる。そして、抽出した設定情報に従って画像処理を実行することを、プリント／スキャンプログラム１２１に指示することができる（Ｓ５８０）。これにより、音声認識プログラム１２５を介して受け付けた設定情報に基づいて、プリント／スキャンプログラム１２１に画像処理を実行させることが可能となる。

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には以上に例示した具体例を様々に変形、変更したものが含まれる。上記の実施例の変形例を以下に列挙する。

（変形例）
Ｓ５２０において仲介プログラム１２２は、最終動作確認画像データを、プリント／スキャンプログラム１２１へ送信してもよい。そしてプリント／スキャンプログラム１２１が最終動作確認画像を表示手段１０２に表示させてもよい。また、仲介プログラム１２２自身が、最終動作確認画像を表示手段１０２に表示させてもよい。

Ｓ２１０において仲介プログラム１２２は、設定情報を推測してもよい。そして推測した設定情報を音声認識プログラム１２５へ送信（Ｓ２２０）し、推測した設定情報が使用可能か否かを示す情報を受信（Ｓ２５０）してもよい。

Ｓ３１０において仲介プログラム１２２は、設定情報の候補となる複数の候補設定情報を生成してもよい。そして複数の候補設定情報を音声認識プログラム１２５へ送信（Ｓ３２０）し、ユーザによって選択された設定情報を示す情報を受信（Ｓ３５０）してもよい。

Ｎ個（Ｎは１以上の自然数）のドメインの各々に対応して、Ｎ個の仲介プログラムが存在してもよい。例えば、「メッセージ送信」のドメインに対応した仲介プログラム、「ワークアウト」のドメインに対応した仲介プログラム、「写真検索」のドメインに対応した仲介プログラム、が存在してもよい。この場合、音声認識プログラム１２５は、Ｓ１３０で特定したドメインに対応する仲介プログラムを、Ｓ１４０において起動すればよい。また、Ｓ１６０およびＳ１６５の処理を省略すればよい。

仲介プログラム１２２がプリント／スキャンプログラム１２１を起動（Ｓ５７０）する態様に限られない。Ｓ５６０において、音声認識プログラム１２５がプリント／スキャンプログラム１２１を起動してもよい。

第１文字列等を推測する処理（Ｓ２００〜Ｓ２７０）は省略することが可能である。第１文字列等の選択肢を生成する処理（Ｓ３００〜Ｓ３７０）は省略することが可能である。第１文字列等の入力をユーザに要求する処理（Ｓ４２０〜Ｓ４７０）は省略することが可能である。最終確認処理（Ｓ５１０〜Ｓ５４０）は省略することが可能である。画像処理の結果を、音声認識プログラム１２５を用いてユーザに報告する処理（Ｓ６００〜Ｓ６２０）は、省略することが可能である。以上より、一般的に言うと、仲介プログラム１２２は、「テキストデータ取得手段」と、「第１判断手段」と、「第１表示手段」と、「第１指示手段」として、情報処理装置を少なくとも機能させれば良い。具体例としては、仲介プログラム１２２は、Ｓ１５０と、Ｓ１７０と、Ｓ５２０と、Ｓ５７４およびＳ５８０と、を少なくとも実行させればよい。

本実施形態で説明した、プリント／スキャンプログラム１２１と仲介プログラム１２２との処理の分担態様は、一例であり、他の分担態様であってもよい。例えば、仲介プログラム１２２の処理の一部をプリント／スキャンプログラム１２１が実行するとしてもよい。

本明細書で説明した「メッセージ送信」などのドメインは一例である。他の種類のドメインに対しても、本明細書の技術を適用することが可能である。

プリント／スキャンプログラム１２１で行われる画像処理は、「印刷」「スキャン」に限られない。他の種類の画像処理が実行される場合においても、本明細書の技術を適用することが可能である。

本実施形態では、画像処理を実行させる装置の一例として、ＭＦＰ５１を用いて説明したが、この形態に限られない。ラベルプリンタ、スキャナ、コピー機、等であってもよい。

上記の実施例では、情報処理装置１００のＣＰＵ１０６が記憶部１０９内のプログラム１２０（即ちソフトウェア）を実行することによって、図２〜図４の各処理が実現される。これに代えて、図２〜図４の各処理のうちの少なくとも１つの処理は、論理回路、集積回路等のハードウェアによって実現されてもよい。

ＣＰＵ１０６は、コンピュータの一例である。仲介プログラム１２２は、情報処理プログラムの一例である。プリント／スキャンプログラム１２１は、画像処理プログラムの一例である。印刷、スキャンは、画像処理の一例である。Ｓ１５０を実行するＣＰＵは、テキストデータ取得手段の一例である。プリント／スキャンプログラム１２１の名称である「プリントスキャンアプリ」は、第１文字列の一例である。「印刷」「スキャン」は、第２文字列の一例である。Ｓ１７０を実行するＣＰＵは、第１判断手段の一例である。最終動作確認画像は、特定画像の一例である。Ｓ５２０を実行するＣＰＵは、第１表示手段の一例である。Ｓ５７４およびＳ５８０を実行するＣＰＵは、第１指示手段の一例である。最終動作確認画像データは、特定画像データの一例である。Ｓ６００を実行するＣＰＵは、結果情報受信手段の一例である。Ｓ６１０を実行するＣＰＵは、結果情報送信手段の一例である。Ｓ２１０を実行するＣＰＵは、第１文字列生成手段の一例である。Ｓ２２０を実行するＣＰＵは、第１文字列送信手段の一例である。Ｓ２５０を実行するＣＰＵは、第１使用情報受信手段の一例である。Ｓ５７４およびＳ５８０を実行するＣＰＵは、第２指示手段の一例である。Ｓ２１０を実行するＣＰＵは、第２文字列生成手段の一例である。Ｓ２２０を実行するＣＰＵは、第２文字列送信手段の一例である。Ｓ２５０を実行するＣＰＵは、第２使用情報受信手段の一例である。Ｓ５２０を実行するＣＰＵは、第２表示手段の一例である。Ｓ５７４およびＳ５８０を実行するＣＰＵは、第３指示手段の一例である。Ｓ３１０を実行するＣＰＵは、第１候補文字列生成手段の一例である。Ｓ３２０を実行するＣＰＵは、第１候補文字列送信手段の一例である。Ｓ３５０を実行するＣＰＵは、選択第１文字列情報受信手段の一例である。Ｓ５７４およびＳ５８０を実行するＣＰＵは、第４指示手段の一例である。Ｓ３１０を実行するＣＰＵは、第２候補文字列生成手段の一例である。Ｓ３２０を実行するＣＰＵは、第２候補文字列送信手段の一例である。Ｓ３５０を実行するＣＰＵは、選択第２文字列情報受信手段の一例である。Ｓ５２０を実行するＣＰＵは、第３表示手段の一例である。Ｓ５７４およびＳ５８０を実行するＣＰＵは、第５指示手段の一例である。Ｓ４２０を実行するＣＰＵは、第１要求情報送信手段の一例である。Ｓ４５０を実行するＣＰＵは、第１文字列受信手段の一例である。Ｓ５７４およびＳ５８０を実行するＣＰＵは、第６指示手段の一例である。Ｓ４２０を実行するＣＰＵは、第２要求情報送信手段の一例である。Ｓ４５０を実行するＣＰＵは、第２文字列受信手段の一例である。Ｓ５２０を実行するＣＰＵは、第４表示手段の一例である。Ｓ５７４およびＳ５８０を実行するＣＰＵは、第７指示手段の一例である。ドメインは、第１情報の一例である。Ｓ１５０を実行するＣＰＵは、第１情報取得手段の一例である。Ｓ５７６を実行するＣＰＵは、抽出手段の一例である。

また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

１０：通信システム、５１：ＭＦＰ、１００：情報処理装置、１０２：表示手段、１０５：無線ＬＡＮ＿Ｉ／Ｆ、１０９：記憶部、１２１：プリント／スキャンプログラム、１２２：仲介プログラム、１２５：音声認識プログラム

Claims (14)

1. 記憶部と、表示部と、マイクと、を備える情報処理装置のコンピュータに読込まれる情報処理プログラムであって、
   前記情報処理装置には、前記情報処理装置の前記コンピュータが読み取り可能な画像処理プログラムおよび音声認識プログラムがインストールされており、
   前記画像処理プログラムは、画像処理を実行するためのプログラムであり、
   前記音声認識プログラムは、前記マイクを介して入力された音声をテキストデータに変換するためのプログラムであり、
   前記音声認識プログラムは、前記テキストデータから前記音声認識プログラムが実行可能なタスクを定義する定義情報を特定することに応じて、前記情報処理プログラムを起動し、
   前記情報処理プログラムは、
   前記音声認識プログラムが前記テキストデータを生成した場合に、前記音声認識プログラムから前記テキストデータおよび前記定義情報を取得するテキストデータ取得手段であって、前記テキストデータは、前記画像処理プログラムを示す第１文字列および前記画像処理プログラムで行われる画像処理の内容を示す第２文字列を含むことが可能なデータであり、前記定義情報は、前記第２文字列が示す前記画像処理で用いられる設定情報が前記テキストデータに含まれているか否かを示す情報である、前記テキストデータ取得手段と、
   取得した前記テキストデータが、前記画像処理プログラムを示す第１文字列および前記画像処理プログラムで行われる画像処理の内容を示す第２文字列を含んでいるか否かを判断する第１判断手段と、
   前記テキストデータが前記第１文字列および前記第２文字列を含んでいると前記第１判断手段で判断された場合に、前記第２文字列が示す画像処理の内容を示す特定画像を前記表示部に表示させる第１表示手段と、
   前記テキストデータが前記設定情報を含んでいることを前記定義情報が示している場合に、前記設定情報を前記テキストデータから抽出する抽出手段と、
   前記画像処理の実行指示を受け付けた場合に、前記抽出手段が前記設定情報を抽出している場合には、前記抽出手段が抽出した前記設定情報に従って前記第２文字列が示す画像処理を実行することを、前記第１文字列が示す前記画像処理プログラムに指示する第１指示手段と、
   して前記情報処理装置を機能させることを特徴とする情報処理プログラム。
2. 前記第１表示手段は、前記特定画像を表示するための特定画像データを前記音声認識プログラムまたは前記画像処理プログラムへ送信することで、前記特定画像を前記音声認識プログラムまたは前記画像処理プログラムに前記表示部へ表示させることを特徴とする請求項１に記載の情報処理プログラム。
3. 前記第２文字列が示す画像処理の実行結果を示す結果情報を前記画像処理プログラムから受信する結果情報受信手段と、
   受信した前記結果情報を前記音声認識プログラムへ送信することで、前記結果情報が示す実行結果を前記音声認識プログラムに出力させる結果情報送信手段と、
   して前記情報処理装置をさらに機能させることを特徴とする請求項１または２に記載の情報処理プログラム。
4. 前記第１文字列が前記テキストデータに含まれていないことが前記第１判断手段によって判断された場合に、前記テキストデータに前記第１文字列に類似する類似文字列が含まれている場合に、前記類似文字列に基づいて前記第１文字列を生成する第１文字列生成手段と、
   生成された前記第１文字列を前記音声認識プログラムへ送信することで、前記第１文字列を前記音声認識プログラムに出力させる第１文字列送信手段と、
   前記第１文字列送信手段で送信した前記第１文字列の使用可否を示す第１使用情報を前記音声認識プログラムから受信する第１使用情報受信手段と、
   受信した前記第１使用情報が前記第１文字列を使用することを示している場合に、前記第１文字列生成手段によって生成された前記第１文字列が示す前記画像処理プログラムに、前記第２文字列が示す画像処理の実行を指示する第２指示手段と、
   して前記情報処理装置をさらに機能させることを特徴とする請求項１〜３の何れか１項に記載の情報処理プログラム。
5. 前記第２文字列が前記テキストデータに含まれていないことが前記第１判断手段によって判断された場合に、前記テキストデータに前記第２文字列に類似する類似文字列が含まれている場合に、前記類似文字列に基づいて前記第２文字列を生成する第２文字列生成手段と、
   生成された前記第２文字列を前記音声認識プログラムへ送信することで、前記第２文字列を前記音声認識プログラムに出力させる第２文字列送信手段と、
   前記第２文字列送信手段で送信した前記第２文字列の使用可否を示す第２使用情報を前記音声認識プログラムから受信する第２使用情報受信手段と、
   受信した前記第２使用情報が前記第２文字列を使用することを示している場合に、前記第２文字列生成手段によって生成された前記第２文字列が示す画像処理の内容を示す特定画像を前記表示部に表示させる第２表示手段と、
   前記画像処理の実行指示を受け付けた場合に、前記第２文字列生成手段によって生成された前記第２文字列が示す画像処理の実行を、前記第１文字列が示す前記画像処理プログラムに指示する第３指示手段と、
   して前記情報処理装置をさらに機能させることを特徴とする請求項１〜４の何れか１項に記載の情報処理プログラム。
6. 前記第２表示手段は、前記特定画像を表示するための特定画像データを前記音声認識プログラムまたは前記画像処理プログラムへ送信することで、前記特定画像を前記音声認識プログラムまたは前記画像処理プログラムに前記表示部へ表示させることを特徴とする請求項５に記載の情報処理プログラム。
7. 前記第１文字列が前記テキストデータに含まれていないことが前記第１判断手段によって判断された場合に、前記第１文字列の候補となる複数の第１候補文字列を生成する第１候補文字列生成手段と、
   生成された前記複数の第１候補文字列を前記音声認識プログラムへ送信することで、前記複数の第１候補文字列を前記音声認識プログラムに出力させる第１候補文字列送信手段と、
   前記第１候補文字列送信手段で送信した前記複数の第１候補文字列のうちから選択された選択第１文字列を示す選択第１文字列情報を前記音声認識プログラムから受信する選択第１文字列情報受信手段と、
   受信した前記選択第１文字列情報が示す前記選択第１文字列が示す前記画像処理プログラムに、前記第２文字列が示す画像処理の実行を指示する第４指示手段と、
   して前記情報処理装置をさらに機能させることを特徴とする請求項１〜６の何れか１項に記載の情報処理プログラム。
8. 前記第２文字列が前記テキストデータに含まれていないことが前記第１判断手段によって判断された場合に、前記第２文字列の候補となる複数の第２候補文字列を生成する第２候補文字列生成手段と、
   生成された前記複数の第２候補文字列を前記音声認識プログラムへ送信することで、前記複数の第２候補文字列を前記音声認識プログラムに出力させる第２候補文字列送信手段と、
   前記第２候補文字列送信手段で送信した前記複数の第２候補文字列のうちから選択された選択第２文字列を示す選択第２文字列情報を前記音声認識プログラムから受信する選択第２文字列情報受信手段と、
   受信した前記選択第２文字列情報が示す前記選択第２文字列が示す画像処理の内容を示す特定画像を前記表示部に表示させる第３表示手段と、
   前記画像処理の実行指示を受け付けた場合に、前記選択第２文字列が示す画像処理の実行を、前記第１文字列が示す前記画像処理プログラムに指示する第５指示手段と、
   して前記情報処理装置をさらに機能させることを特徴とする請求項１〜７の何れか１項に記載の情報処理プログラム。
9. 前記第３表示手段は、前記特定画像を表示するための特定画像データを前記音声認識プログラムまたは前記画像処理プログラムへ送信することで、前記特定画像を前記音声認識プログラムまたは前記画像処理プログラムに前記表示部へ表示させることを特徴とする請求項８に記載の情報処理プログラム。
10. 前記第１文字列が前記テキストデータに含まれていないことが前記第１判断手段によって判断された場合に、前記第１文字列の入力を要求する第１要求情報を前記音声認識プログラムへ送信することで、前記第１文字列の入力を前記音声認識プログラムに受け付けさせる第１要求情報送信手段と、
    前記第１文字列を前記音声認識プログラムから受信する第１文字列受信手段と、
    受信した前記第１文字列が示す前記画像処理プログラムに、前記第２文字列が示す画像処理の実行を指示する第６指示手段と、
    して前記情報処理装置をさらに機能させることを特徴とする請求項１〜９の何れか１項に記載の情報処理プログラム。
11. 前記第２文字列が前記テキストデータに含まれていないことが前記第１判断手段によって判断された場合に、前記第２文字列の入力を要求する第２要求情報を前記音声認識プログラムへ送信することで、前記第２文字列の入力を前記音声認識プログラムに受け付けさせる第２要求情報送信手段と、
    前記第２文字列を前記音声認識プログラムから受信する第２文字列受信手段と、
    受信した前記第２文字列が示す画像処理の内容を示す特定画像を前記表示部に表示させる第４表示手段と、
    前記画像処理の実行指示を受け付けた場合に、受信した前記第２文字列が示す画像処理の実行を、前記第１文字列が示す前記画像処理プログラムに、指示する第７指示手段と、
    して前記情報処理装置をさらに機能させることを特徴とする請求項１〜１０の何れか１項に記載の情報処理プログラム。
12. 前記第４表示手段は、前記特定画像を表示するための特定画像データを前記音声認識プログラムまたは前記画像処理プログラムへ送信することで、前記特定画像を前記音声認識プログラムまたは前記画像処理プログラムに前記表示部へ表示させることを特徴とする請求項１１に記載の情報処理プログラム。
13. 記憶部と、表示部と、マイクと、コンピュータと、を備える情報処理装置であって、
    前記情報処理装置には、前記情報処理装置の前記コンピュータが読み取り可能な画像処理プログラム、音声認識プログラム、および情報処理プログラムがインストールされており、
    前記画像処理プログラムは、画像処理を実行するためのプログラムであり、
    前記音声認識プログラムは、前記マイクを介して入力された音声をテキストデータに変換するためのプログラムであり、
    前記音声認識プログラムは、前記テキストデータから前記音声認識プログラムが実行可能なタスクを定義する定義情報を特定することに応じて、前記情報処理プログラムを起動し、
    前記情報処理プログラムは、
    前記音声認識プログラムが前記テキストデータを生成した場合に、前記音声認識プログラムから前記テキストデータおよび前記定義情報を取得するテキストデータ取得手段であって、前記テキストデータは、前記画像処理プログラムを示す第１文字列および前記画像処理プログラムで行われる画像処理の内容を示す第２文字列を含むことが可能なデータであり、前記定義情報は、前記第２文字列が示す前記画像処理で用いられる設定情報が前記テキストデータに含まれているか否かを示す情報である、前記テキストデータ取得手段と、
    取得した前記テキストデータが、前記画像処理プログラムを示す第１文字列および前記画像処理プログラムで行われる画像処理の内容を示す第２文字列を含んでいるか否かを判断する第１判断手段と、
    前記テキストデータが前記第１文字列および前記第２文字列を含んでいると前記第１判断手段で判断された場合に、前記第２文字列が示す画像処理の内容を示す特定画像を前記表示部に表示させる第１表示手段と、
    前記テキストデータが前記設定情報を含んでいることを前記定義情報が示している場合に、前記設定情報を前記テキストデータから抽出する抽出手段と、
    前記画像処理の実行指示を受け付けた場合に、前記抽出手段が前記設定情報を抽出している場合には、前記抽出手段が抽出した前記設定情報に従って前記第２文字列が示す画像処理を実行することを、前記第１文字列が示す前記画像処理プログラムに指示する第１指示手段と、
    して前記コンピュータを機能させるプログラムであることを特徴とする情報処理装置。
14. 記憶部と、表示部と、マイクと、コンピュータと、を備える情報処理装置の制御方法であって、
    前記情報処理装置には、前記情報処理装置の前記コンピュータが読み取り可能な画像処理プログラム、音声認識プログラム、および情報処理プログラムがインストールされており、
    前記画像処理プログラムは、画像処理を実行するためのプログラムであり、
    前記音声認識プログラムは、前記マイクを介して入力された音声をテキストデータに変換するためのプログラムであり、
    前記音声認識プログラムは、前記テキストデータから前記音声認識プログラムが実行可能なタスクを定義する定義情報を特定することに応じて、前記情報処理プログラムを起動し、
    前記情報処理プログラムは、
    前記音声認識プログラムが前記テキストデータを生成した場合に、前記音声認識プログラムから前記テキストデータおよび前記定義情報を取得するテキストデータ取得ステップであって、前記テキストデータは、前記画像処理プログラムを示す第１文字列および前記画像処理プログラムで行われる画像処理の内容を示す第２文字列を含むことが可能なデータであり、前記定義情報は、前記第２文字列が示す前記画像処理で用いられる設定情報が前記テキストデータに含まれているか否かを示す情報である、前記テキストデータ取得ステップと、
    取得した前記テキストデータが、前記画像処理プログラムを示す第１文字列および前記画像処理プログラムで行われる画像処理の内容を示す第２文字列を含んでいるか否かを判断する第１判断ステップと、
    前記テキストデータが前記第１文字列および前記第２文字列を含んでいると前記第１判断ステップで判断された場合に、前記第２文字列が示す画像処理の内容を示す特定画像を前記表示部に表示させる第１表示ステップと、
    前記テキストデータが前記設定情報を含んでいることを前記定義情報が示している場合に、前記設定情報を前記テキストデータから抽出する抽出ステップと、
    前記画像処理の実行指示を受け付けた場合に、前記抽出ステップが前記設定情報を抽出している場合には、前記抽出ステップが抽出した前記設定情報に従って前記第２文字列が示す画像処理を実行することを、前記第１文字列が示す前記画像処理プログラムに指示する第１指示ステップと、
    を前記コンピュータに実行させるプログラムであることを特徴とする制御方法。

Images