JP7447633B2 - 情報処理装置及び情報処理方法 - Google Patents

Description

本願は、画像形成装置を音声により制御する技術に関するものである。

特許文献１には、所定のフレーズを発音すると、ゲームコンテンツを指定し、そのゲームコンテンツに基づいた印刷を印刷装置に行わせる印刷システムが記載されている。

特開２０１９－１８５６１８号公報

しかし、特許文献１に記載の印刷システムでは、発音と画像データを検索する機能とをつなぐことは言及していないので、発音によりユーザの意図に沿った画像データを検索して画像形成に用いることはできない。

本願は、発音によりユーザの意図に沿った画像データを検索して画像形成に用いることが可能となる技術を提供することを目的とする。

上記目的を達成するため、本願の情報処理装置は、通信インタフェースと、制御装置と、を備え、制御装置は、通信インタフェースを介して接続された、音声を入力及び出力するスマートスピーカから、画像形成装置のユーザが発話することにより入力された音声の内容を認識し、認識された音声の内容が、テンプレートを指定し、そのテンプレートに挿入する画像データの属性を指定して画像形成を指示する内容である場合、認識された音声の内容から、指定された画像データの属性を抽出し、抽出された属性を有する画像データを取得し、指定されたテンプレートに取得した画像データを挿入して画像形成を行うべくコマンドを画像形成装置に送信する。

本願によれば、発音によりユーザの意図に沿った画像データを検索して画像形成に用いることが可能となる。

本願の一実施形態に係る画像形成システムの構成を示すブロック図である。 図１の画像形成システムによって実行される印刷制御処理のシーケンス図である。 図２の印刷制御処理とは異なる他の印刷制御処理のシーケンス図である。 テンプレートの一例（（ａ））と、テンプレートに基づいて印刷した印刷画像の一例（（ｂ））と、検索された複数の写真画像の一例（（ｃ））を示す図である。 複数の写真画像データが抽出された場合に、図１の画像形成システムによって実行される印刷制御処理の一部のシーケンス図である。

以下、本願の実施の形態を図面に基づいて詳細に説明する。

図１は、本願の一実施形態に係る画像形成システム１０００の構成を示している。画像形成システム１０００は、プリンタ２００と、スマートスピーカ３００と、アプリケーションサーバ４００とにより主として構成されている。なお、本実施形態の画像形成システム１０００では、プリンタ２００とスマートスピーカ３００は、同じユーザによって利用される。

画像形成システム１０００で用いられるアクセスポイント５０は、例えば、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎの規格に従った通信方式を用いて無線ＬＡＮのアクセスポイントとしての機能を実現する。アクセスポイント５０は、ＬＡＮ７０に接続されている。ＬＡＮ７０は、例えば、イーサネット（登録商標）規格に準拠して構築された有線ネットワークである。ＬＡＮ７０は、インターネット８０に接続されている。アプリケーションサーバ４００は、インターネット８０に接続されている。

プリンタ２００は、例えば、ＣＰＵとメモリを含む制御部２１０と、制御部２１０の制御に従って印刷を行う印刷機構２５０と、ブルートゥースＩＦ２６０と、を備えている。制御部２１０に含まれるメモリには、複数個のテンプレートを含むテンプレート群２１０ａが記憶されている。印刷機構２５０は、シートに画像を印刷する機構であり、電子写真方式、インクジェット方式、サーマル方式等の印刷機構である。ブルートゥースＩＦ２６０は、アンテナを含み、ブルートゥース方式に準拠した近距離無線通信を行うためのインタフェースであり、スマートスピーカ３００との通信のために用いられる。

スマートスピーカ３００は、ユーザが発話した音声に応じて特定の処理を実行する装置である。特定の処理は、例えば、音声データを生成して、アプリケーションサーバ４００に送信する処理を含む。スマートスピーカ３００は、ＣＰＵとメモリとを含む制御部３１０と、表示部３４０と、音声入出力部３５０と、ブルートゥースＩＦ３６０と、無線ＬＡＮＩＦ３８０と、を備えている。

表示部３４０は、液晶ディスプレイや有機ＥＬディスプレイなどの表示装置、表示装置を駆動する駆動回路などにより構成されている。

音声入出力部３５０は、スピーカとマイクとを含み、音声の入力と音声の出力に関する処理を実行する。例えば、音声入出力部３５０は、制御部３１０の制御に従って、ユーザが発話した音声を検出し、その音声を示す音声データを生成する。また、音声入出力部３５０は、受信した音声データに応じた音声をスピーカから発生する。

無線ＬＡＮＩＦ３８０は、アンテナを含み、例えば、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎの規格に従った通信方式を用いて無線通信を行う。これにより、スマートスピーカ３００は、アクセスポイント５０を介してＬＡＮ７０及びインターネット８０に接続され、アプリケーションサーバ４００と通信可能に接続される。

ブルートゥースＩＦ３６０は、アンテナを含み、ブルートゥース方式に準拠した近距離無線通信を行うためのインタフェースであり、プリンタ２００との通信のために用いられる。これにより、プリンタ２００は、ブルートゥースＩＦ２６０、スマートスピーカ３００のブルートゥースＩＦ３６０、スマートスピーカ３００の無線ＬＡＮＩＦ３８０、アクセスポイント５０、ＬＡＮ７０及びインターネット８０を介して、アプリケーションサーバ４００と通信可能に接続される。

アプリケーションサーバ４００は、例えば、いわゆるクラウドサービスを提供する事業者が運営するサーバである。アプリケーションサーバ４００は、アプリケーションサーバ４００全体を制御するＣＰＵ４１０と、ＲＯＭ、ＲＡＭ、ＨＤＤ、ＳＳＤ及び光ディスクドライブなどを含む記憶部４２０と、を備えている。アプリケーションサーバ４００は、さらに、インターネット８０と接続するためのネットワークＩＦ４８０を備えている。なお、図１では、アプリケーションサーバ４００は、概念的に１個のサーバとして図示されているが、互いに通信可能に接続された複数個のサーバを含む、いわゆるクラウドサーバであってもよい。

記憶部４２０は、データ記憶領域４２２及びプログラム記憶領域４２４を含んでいる。データ記憶領域４２２は、ＣＰＵ４１０が処理を行う際に必要なデータなどを記憶する記憶領域として、また、ＣＰＵ４１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域として機能する。データ記憶領域４２２には、複数個のテンプレートを含むテンプレート群４２２ａと、各種画像データを含む画像データ群４２２ｂも記憶されている。プログラム記憶領域４２４は、ＯＳ、情報処理プログラム、その他各種のアプリやファームウェアなどを記憶する領域である。情報処理プログラムには、音声解析プログラム４２４ａ及び印刷関連プログラム４２４ｂが含まれる。音声解析プログラム４２４ａは、例えば、アプリケーションサーバ４００の運営者によって、アプリケーションサーバ４００にアップロードされることによって提供される。印刷関連プログラム４２４ｂは、例えば、アプリケーションサーバ４００のリソースを利用して印刷サービスを提供する事業者、例えば、プリンタ２００を製造する事業者によって、アプリケーションサーバ４００にアップロードされることによって提供される。なお、音声解析プログラム４２４ａの全部または一部が、プリンタ２００を製造する事業者によって提供されてもよい。あるいは、印刷関連プログラム４２４ｂの全部または一部がアプリケーションサーバ４００を運営する事業者によって提供されてもよい。

アプリケーションサーバ４００、特にＣＰＵ４１０は、音声解析プログラム４２４ａを実行することによって、音声解析処理部４２４ａ′（図２参照）として機能する。音声解析処理部４２４ａ′は、音声認識処理や形態素解析処理を実行する。音声認識処理は、音声データを解析して、音声データによって示される発話の内容を示すテキストデータを生成する処理である。形態素解析処理は、そのテキストデータを解析して、発話の内容に含まれる単語などの構成単位（形態素と呼ばれる）の抽出や、抽出された形態素の種別（例えば、品詞の種別）の特定を行う処理である。

また、アプリケーションサーバ４００、特にＣＰＵ４１０は、印刷関連プログラム４２４ｂを実行することによって、印刷関連処理部４２４ｂ′（図２参照）として機能する。印刷関連処理部４２４ｂ′は、音声データを解析して得られるテキストデータを用いて、プリンタ２００に動作指示を行うコマンドを生成する処理などを実行する。

図２は、画像形成システム１０００によって実行される印刷制御処理のシーケンスを示している。印刷制御処理は、スマートスピーカ３００とアプリケーションサーバ４００とが協働して、プリンタ２００に印刷を実行させる処理である。

図２において、まずＳ２で、ユーザが発話する。ユーザは、アプリケーションサーバ４００あるいはプリンタ２００に既に登録されているテンプレートを用いて印刷したいと思ったので、スマートスピーカ３００に対して、例えば「テンプレートＡに○○で撮った写真を印刷して」と指示する。印刷制御処理は、スマートスピーカ３００がその発話された音声を検出した場合に、開始する。

Ｓ４では、スマートスピーカ３００は、ユーザによって発話された音声を示す音声データを生成する。つまり、「テンプレートＡに○○で撮った写真を印刷して」との音声がスマートスピーカ３００に入力されると、スマートスピーカ３００は、その音声を示す音声データを生成する。

次に、Ｓ６では、スマートスピーカ３００は、その音声データと登録済みのユーザＩＤとをアプリケーションサーバ４００の音声解析処理部４２４ａ′に送信する。音声データの送信には、公知のプロトコル、例えば、ＨＴＴＰが用いられる。なお、スマートスピーカ３００には、ユーザの声紋が登録できるようになっており、スマートスピーカ３００は、入力された音声に基づいて声紋認識を行い、認識した声紋と登録されている声紋とが一致した場合に、ユーザＩＤを送信する。したがって、スマートスピーカ３００からユーザＩＤが送信されたときには、その前段階で既に、声紋認識はなされている。

アプリケーションサーバ４００がその音声データとユーザＩＤとを受信すると、Ｓ８にて、アプリケーションサーバ４００の音声解析処理部４２４ａ′は、受信された音声データを解析する。具体的には、音声解析処理部４２４ａ′は、音声データに対して音声認識処理を実行し、音声データによって示される音声を示すテキストデータを生成する。例えば、「テンプレートＡに○○で撮った写真を印刷して」との音声を示す音声データを受信した場合には、音声解析処理部４２４ａ′は、その音声の内容を示すテキストデータを生成する。音声解析処理部４２４ａ′は、さらに、そのテキストデータに対して形態素解析処理を実行する。これにより、生成されたテキストデータから、例えば、「テンプレートＡ」、「○○で撮った写真」、「印刷して」などの単語が抽出されるとともに、これらの単語の品詞種別（例えば、名詞、動詞）が特定される。音声解析処理部４２４ａ′は、形態素解析結果として、抽出された単語に品詞種別を対応付けたリストを生成する。

次に、Ｓ１０では、音声解析処理部４２４ａ′は、生成されたテキストデータと、形態素解析結果と、スマートスピーカ３００から受信されたユーザＩＤと、を、印刷関連処理部４２４ｂ′に渡す。具体的には、音声解析処理部４２４ａ′は、例えば、データ記憶領域４２２内の所定領域にテキストデータと形態素解析結果とユーザＩＤとを格納して、印刷関連プログラム４２４ｂをコールする。

音声解析処理部４２４ａ′からテキストデータと形態素解析結果とユーザＩＤとを受け取ると、Ｓ１２にて、印刷関連処理部４２４ｂ′は、テキストデータと形態素解析結果とを用いて、テンプレート特定処理を実行する。具体的には、印刷関連処理部４２４ｂ′は、テンプレートＡがアプリケーションサーバ４００に記憶されているものであるか、あるいはプリンタ２００に記憶されているものであるかを特定する。テンプレートＡが、例えば、プリンタ２００に記憶されている上記テンプレート群２１０ａに含まれていたとすると、印刷関連処理部４２４ｂ′は、テンプレートＡはプリンタ２００内のテンプレートであると特定する。図４（ａ）は、“テンプレートＡ”Ｔ１の一例を示している。“テンプレートＡ”Ｔ１は、画像データ入力ボックスＴ１１と、バックグラウンド画像Ｔ１２とによって構成されている。なお、画像データ入力ボックスＴ１１は、図示例では矩形状となっているが、これに限らず、円形状やハート形状など、種々の形状を採るようにしてもよい。

次に、Ｓ１４では、印刷関連処理部４２４ｂ′は、テキストデータと形態素解析結果とを用いて、上記画像データ群４２２ｂから写真画像データを条件検索する。具体的には、印刷関連処理部４２４ｂ′は、「○○で撮った写真」に該当する写真画像データを画像データ群４２２ｂから抽出する。

例えば、「○○」が「京都」であるとすると、印刷関連処理部４２４ｂ′は、撮影場所が京都であることを検索条件として、画像データ群４２２ｂから写真画像データを抽出する。具体的には、画像データ群４２２ｂに含まれる写真画像データが、例えば、Ｅｘｉｆ（ Exchange image file format の略語である）に従う写真画像データである場合、印刷関連処理部４２４ｂ′は、写真画像データ内のメタデータに含まれる位置情報（ジオタグ）が示す位置が京都府内に含まれる写真画像データを抽出する。また、写真画像データ内のメタデータに含まれるコメント領域に撮影場所が記載されていれば、これに基づいて検索条件に合致する写真画像データを抽出するようにしてもよい。

一方、「○○」が「公園」などのように、撮影場所が１つの地点に決まらない場合には、印刷関連処理部４２４ｂ′は、コメント領域の記載内容に基づいて検索したり、写真画像を画像認識し、公園が写っている写真画像データを抽出したりするようにすればよい。

また、ユーザが「○○で撮った写真」ではなく、「自分の写った写真」をテンプレート印刷したい場合には、例えば、アプリケーションサーバ４００の記憶部４２０のデータ記憶領域４２２内に、ユーザＩＤに対応付けてユーザの顔の画像データが登録されているとすると、印刷関連処理部４２４ｂ′は、上記撮影場所が１つの地点に決まらない場合と同様にして、コメント領域の記載内容に基づいて検索したり、写真画像を画像認識し、ユーザが写っている写真画像データを抽出したりするようにすればよい。なお、本実施形態では上述のように、ユーザの声紋認識は、スマートスピーカ３００側で行われ、スマートスピーカ３００がユーザＩＤを送信するときには、既にユーザの声紋認識は終了しているとした。しかし、これに限らず、ユーザの声紋認識は、アプリケーションサーバ４００で行われるとしてもよい。その場合には、上記データ記憶領域４２２内に、ユーザの声紋とユーザの顔の画像データとを対応付けて登録されている必要がある。

さらに、ユーザは「特定サイズの写真」、「特定の色合いの写真」、「特定のデータフォーマットの写真」など、テンプレートＡに挿入する写真を検索する条件として種々の条件を指定する場合があるが、検索対象の写真画像データ内に、指定された条件に対応する情報が含まれていれば、印刷関連処理部４２４ｂ′は、同様にして検索条件に合致する写真画像データを抽出することができる。

なお、印刷関連処理部４２４ｂ′が自ら、検索条件に合致する写真画像データを検索するのではなく、写真画像データを保存し、保存した写真画像データを用いて各種サービスを提供しているサービス事業者に検索条件を渡し、そのサービス事業者から検索条件に合致した写真画像データを受け取ることで、写真画像データを取得するようにしてもよい。例えば、印刷関連処理部４２４ｂ′は、サービス事業者が運営するサーバが提供するＡＰＩ（Application Programming Interface の略語である）に検索条件を渡し、その応答である写真画像データを取得する。

次に、Ｓ１６では、印刷関連処理部４２４ｂ′は、テンプレート印刷コマンドを作成する。テンプレート印刷コマンドは、印刷に用いるテンプレートを特定するテンプレート特定情報を含み、テンプレート印刷コマンドと一緒に送信される画像データを、テンプレート特定情報によって特定されるテンプレートの画像データ入力ボックスに入れて印刷することを指示するコマンドである。なお、テンプレート印刷コマンドと一緒に送信される画像データ、つまり写真画像データに撮影日時が含まれており、かつ印刷に用いるテンプレート、つまりテンプレートＡに日付オブジクトが含まれている場合には、撮影日時の情報を日付オブジクトの設定値として、テンプレート印刷コマンドに追加するようにしてもよい。

次に、Ｓ１８では、印刷関連処理部４２４ｂ′は、作成したテンプレート印刷コマンド及び抽出した写真画像データをスマートスピーカ３００に送信する。

そして、スマートスピーカ３００は、Ｓ２０にて、受信したテンプレート印刷コマンドと写真画像データをそのまま、プリンタ２００に送信する。プリンタ２００は、テンプレート印刷コマンドと写真画像データを受信し、Ｓ２２にて、テンプレート印刷を実行する。具体的には、プリンタ２００は、受信したテンプレート印刷コマンドに含まれるテンプレート特定情報が示すテンプレート、つまりテンプレートＡを上記テンプレート群２１０ａから読み出す。そして、プリンタ２００は、テンプレートＡの画像データ入力ボックスＴ１１（図４（ａ））に受信した写真画像データを入力して印刷する。

図４（ｂ）は、“テンプレートＡ”Ｔ１の画像データ入力ボックスＴ１１に受信した写真画像データを入力して印刷した印刷画像Ｐ１の一例を示している。印刷画像Ｐ１は、バックグラウンド画像Ｐ１２内の画像データ入力ボックスＴ１１の領域内に写真画像データの列画像Ｐ１１が挿入されたものとなっている。このように、ユーザは、「テンプレートＡに○○で撮った写真を印刷して」と発音するだけで、プリンタ２００に「○○で撮った写真」の入った印刷画像Ｐ１を印刷させることができる。

なお、ユーザが発話した検索条件に、印刷関連処理部４２４ｂ′が独自に選定した検索条件を加えることにより、写真画像データの検索を行うようにしてもよい。独自に選定した検索条件とは、具体的には、画像データ入力ボックスＴ１１のサイズである。この場合、印刷関連処理部４２４ｂ′は、「○○で撮った」＋「サイズ」に合致する写真画像データを画像データ群４２２ｂから抽出する。

また、画像データ入力ボックスＴ１１に入力する画像データは、写真画像データに限らない。例えば、ロゴマークや模様、絵など、種々の画像データを入力してもよい。

図３は、テンプレートＡがアプリケーションサーバ４００の記憶部４２０内の上記テンプレート群４２２ａに含まれている場合に、画像形成システム１０００によって実行される印刷制御処理のシーケンスを示している。図３の印刷制御処理のシーケンスは、図２の印刷制御処理のシーケンスの一部を変更して構成されている。このため、図３中、図２と同様の処理には、同一符号を付して、その説明を省略する。

図３において、Ｓ３２では、印刷関連処理部４２４ｂ′は、テキストデータと形態素解析結果とを用いて、テンプレート読出処理を実行する。具体的には、印刷関連処理部４２４ｂ′は、テンプレートＡをテンプレート群４２２ａから検索して読み出す。そして、印刷関連処理部４２４ｂ′は、Ｓ１４にて、上述のようにして写真画像データを条件検索して取得する。

次に、Ｓ３６では、印刷関連処理部４２４ｂ′は、読み出した“テンプレートＡ”Ｔ１の画像データ入力ボックスＴ１１に取得した写真画像データを入力し、写真画像データが入力された“テンプレートＡ”Ｔ１を印刷用画像データに変換し、Ｓ３８にて、スマートスピーカ３００に送信する。

Ｓ４０では、スマートスピーカ３００は、プリンタ２００に、受信した印刷用画像データと、その印刷指示を行う印刷指示コマンドを送信する。プリンタ２００は、印刷用画像データと印刷指示コマンドを受信し、Ｓ４２にて、印刷用画像データに基づいて印刷を実行する。

このように、テンプレートＡがアプリケーションサーバ４００の記憶部４２０内のテンプレート群４２２ａに含まれている場合でも、ユーザは、「テンプレートＡに○○で撮った写真を印刷して」と発音するだけで、プリンタ２００に「○○で撮った写真」の入った印刷画像Ｐ１を印刷させることができる。

上記Ｓ１４では、印刷関連処理部４２４ｂ′は、条件検索により１つの写真画像データを抽出する場合を説明したが、複数の写真画像データが抽出される場合もある。図４（ｃ）は、条件検索により写真画像Ａ～Ｄの４枚の写真画像データが抽出された例を示している。“テンプレートＡ”Ｔ１には、画像データ入力ボックスＴ１１が１つだけ含まれるため、印刷関連処理部４２４ｂ′は、写真画像Ａ～Ｄの中からいずれか１枚の写真画像に絞り込む必要がある。絞り込む方法は、各種考えられる。

まず、ユーザに絞り込み条件を発話するように促す方法を挙げることができる。図５は、この場合に画像形成システム１０００によって実行される印刷制御処理のシーケンスの一例を示している。なお、図５のシーケンスは、図２のシーケンスのＳ１４以降の処理を示している。

図５において、Ｓ５０では、印刷関連処理部４２４ｂ′は、例えば「４枚の写真が抽出されました。１枚の写真にするために絞り込み条件を言ってください」のテキストデータを生成し、音声解析処理部４２４ａ′に渡す。これに応じて、音声解析処理部４２４ａ′は、Ｓ５２にて、そのテキストデータに基づいて音声データを作成し、Ｓ５４にて、スマートスピーカ３００に送信する。

スマートスピーカ３００は、Ｓ５６にて、受信した音声データを音声として発生させる。この音声を聞いたユーザは、Ｓ５８にて、例えば「清水寺」と発話する。これに応じて、スマートスピーカ３００及び音声解析処理部４２４ａ′は、上記Ｓ４～Ｓ１０の処理と同様の処理を実行し、テキストデータを生成して、印刷関連処理部４２４ｂ′に渡す。印刷関連処理部４２４ｂ′は、Ｓ６２にて、現在の検索条件「京都」に絞り込み条件「清水寺」を追加して、「京都」＋「清水寺」の検索条件で写真画像データを絞り込み検索する。以上の処理を、写真画像データが１つになるまで繰り返す。そして、写真画像データが１つになると、印刷関連処理部４２４ｂ′、スマートスピーカ３００及びプリンタ２００は、上記Ｓ１６～Ｓ２２の処理を実行して、テンプレート印刷を実行する。

なお、絞り込み条件は、場所に関するものではなく、撮影日時（例えば、ある範囲を持った期間）や色（例えば、「明るい」「暗い」など）、被写体（例えば、「花」「船」など）など、各種考えられる。

次に、写真画像Ａ～Ｄをスマートスピーカ３００の表示部３４０に表示させて、ユーザにいずれか１枚を選択させる方法を挙げることができる。この場合、印刷関連処理部４２４ｂ′は、抽出した写真画像Ａ～Ｄの画像データをスマートスピーカ３００に送信する。このとき、印刷関連処理部４２４ｂ′は、「４枚の写真が抽出されました。どれか１枚の写真を選択してください」のテキストデータを生成し、上記処理と同様にして、スマートスピーカ３００から、そのテキストデータに応じた音声を発生させる。この音声を聞いたユーザは、例えば「写真Ａ」と発話する。これに応じて、スマートスピーカ３００及び音声解析処理部４２４ａ′は、上記Ｓ４～Ｓ１０の処理と同様の処理を実行し、テキストデータを生成して、印刷関連処理部４２４ｂ′に渡す。印刷関連処理部４２４ｂ′は、Ｓ１４にて、写真画像Ａの写真画像データを取得する。なお、写真画像Ａ～Ｄを表示部３４０に表示する場合、優先度が高いものほど、上位に表示する方が好ましい。例えば、撮影日付（時刻も含む）がより新しいものほど優先度を高くすることが考えられる。

次に、ユーザの意向を聞かず、印刷関連処理部４２４ｂ′が自動的に写真画像Ａ～Ｄの中からいずれか１枚の写真画像を選択する方法を挙げることができる。この場合、印刷関連処理部４２４ｂ′は、上記優先度が最も高い写真画像データを選択すればよい。また、優先度の他に、写真画像Ａ～Ｄの各サイズにばらつきがある場合には、画像データ入力ボックスＴ１１に最も適合する写真画像データを選択することが考えられる。さらに、写真画像Ａ～Ｄのいずれも、画像データ入力ボックスＴ１１のサイズより大きく、縮小しなければ収まらない場合には、縮小したときに最も見易い写真画像データを選択することが考えられる。

以上説明したように、本実施形態のアプリケーションサーバ４００は、ネットワークＩＦ４８０と、ＣＰＵ４１０と、を備えている。ＣＰＵ４１０は、ネットワークＩＦ４８０を介して接続された、音声を入力及び出力するスマートスピーカ３００から、プリンタ２００のユーザが発話することにより入力された音声の内容を認識し（Ｓ８）、認識された音声の内容が、テンプレートＡを指定し、そのテンプレートＡに挿入する写真画像データの属性を指定して画像形成を指示する内容である場合、認識された音声の内容から、指定された写真画像データの属性を抽出し、抽出された属性を有する写真画像データを取得し（Ｓ１４）、指定されたテンプレートに取得した写真画像データを挿入して印刷を行うべくコマンドをプリンタ２００に送信する（Ｓ１６，Ｓ１８）。

このように、本実施形態のアプリケーションサーバ４００では、発音によりユーザの意図に沿った写真画像データを検索して画像形成に用いることが可能となる。

ちなみに、本実施形態において、アプリケーションサーバ４００は、「情報処理装置」の一例である。ネットワークＩＦ４８０は、「通信インタフェース」の一例である。記憶部４２０は、「記憶装置」の一例である。ＣＰＵ４１０は、「制御装置」の一例である。プリンタ２００は、「画像形成装置」の一例である。テンプレートＡは、「テンプレート」の一例である。写真画像データは、「画像データ」の一例である。印刷は、「画像形成」の一例である。

また、ＣＰＵ４１０は、取得する写真画像データとしてさらに、指定されたテンプレートに挿入する写真画像データの条件を満たした写真画像データを取得する。これにより、ユーザの意図にさらに沿った写真画像データを取得して、テンプレート印刷することができる。

また、アプリケーションサーバ４００はさらに、人の顔の画像データと、人が発した声の声紋とを対応付けて記憶する記憶部４２０を備え、ＣＰＵ４１０は、入力された音声に基づいて声紋認識を行い、認識された声紋を有する人の顔の画像データを記憶部４２０から読み出し、取得する写真画像データとしてさらに、読み出された人の顔の画像データを含む写真画像データを取得する。これにより、ユーザの意図にさらに沿った写真画像データを取得して、テンプレート印刷することができる。ちなみに、記憶部４２０は、「第１記憶装置」の一例である。

また、ＣＰＵ４１０は、送信された写真画像データに撮影日時が含まれている場合、撮影日時を挿入して印刷を行う指示をコマンドに追加する。これにより、撮影日時が自動的に挿入された印刷結果が得られるので、便利である。ちなみに、撮影日時は、「日付情報」の一例である。

また、ＣＰＵ４１０は、コマンドの送信に代えて、指定されたテンプレートＡを取得し（Ｓ３２）、取得されたテンプレートＡに取得された写真画像データを挿入し、写真画像データが挿入されたテンプレートＡを印刷用画像データに変換し（Ｓ３６）、変換された印刷用画像データをプリンタ２００に送信する（Ｓ３８）。これにより、プリンタ２００にテンプレートＡが記憶されていなくても、アプリケーションサーバ４００に記憶されていれば、テンプレートＡに基づいたテンプレート印刷することができるので、便利である。

また、ＣＰＵ４１０は、抽出された属性を示す情報を、ネットワークＩＦ４８０を介して接続された他の情報処理装置に送信し、これに応じて他の情報処理装置が検索し、アプリケーションサーバ４００に送信した、抽出された属性を有する写真画像データを取得する。これにより、アプリケーションサーバ４００自ら抽出された属性を有する写真画像データを取得しなくてもよいので、アプリケーションサーバ４００に対する負荷を低減させることが可能となる。

また、アプリケーションサーバ４００はさらに、複数の画像データを記憶する記憶部４２０を備え、ＣＰＵ４１０は、抽出された属性を有する写真画像データを、記憶部４２０及びネットワークＩＦ４８０を介して接続された他の情報処理装置から検索して取得する。これにより、ユーザの意図する写真画像データをより広い範囲で検索して取得することができるので、ユーザの意図にさらに沿った写真画像データを取得して、テンプレート印刷することができる。ちなみに、記憶部４２０は、「第２記憶装置」の一例である。

また、ＣＰＵ４１０は、取得された写真画像データが、指定されたテンプレートに挿入可能な数を超えた場合、写真画像データを絞り込むための絞り込み条件の発音をユーザに促すことを発音する音声データを、ネットワークＩＦ４８０を介してスマートスピーカ３００に送信し（Ｓ５０～Ｓ５４）、これに応じてユーザが絞り込み条件を発音すると（Ｓ５８）、取得された写真画像データを発音に係る絞り込み条件に基づいて絞り込む（Ｓ６２）。これにより、ユーザの意図にさらに沿った写真画像データを取得して、テンプレート印刷することができる。

また、ＣＰＵ４１０は、ネットワークＩＦ４８０を介して接続されたスマートスピーカ３００の表示部３４０に、取得された写真画像データをプレビュー表示し、ユーザがプレビュー表示された写真画像データの中から採用する写真画像データを指定する発音を行った場合、指定された写真画像データをテンプレートＡに挿入する写真画像データに決定する。これにより、ユーザの意図にさらに沿った写真画像データを取得して、テンプレート印刷することができる。ちなみに、スマートスピーカ３００の表示部３４０は、「ディスプレイ」の一例である。

また、ＣＰＵ４１０は、プレビュー表示する写真画像データが複数ある場合、複数の写真画像データを優先度順にプレビュー表示する。これにより、ユーザは優先度を考慮しながら写真画像データを選択することができるので、便利である。

なお、本発明は上記実施形態に限定されるものでなく、その趣旨を逸脱しない範囲で様々な変更が可能である。

（１）上記実施形態では、音声データを解析する処理は、アプリケーションサーバ４００の音声解析処理部４２４ａ′が実行している。これに代えて、音声データを解析する処理の一部または全部は、スマートスピーカ３００が実行してもよい。また、音声データを解析する処理の一部または全部は、印刷関連処理部４２４ｂ′が実行してもよい。例えば、音声解析処理部４２４ａ′は、音声認識処理を行ってテキストデータを生成する処理だけを行い、単語を抽出する形態素解析処理は、印刷関連処理部４２４ｂ′が実行してもよい。また、印刷関連処理部が行う一部または全部は、スマートスピーカ３００が実行してもよい、或いはプリンタ２００、或いは他の情報端末で実行してもよい。

（２）上記実施形態では、画像形成装置として、プリンタ２００を採用したが、これに限らず、印刷機能にスキャン機能やファックス機能を加えた複合機を採用してもよい。この場合には、例えば、スマートスピーカ３００に入力される音声に応じて、その複合機に印刷を行わせることができる。

（３）アプリケーションサーバ４００は、クラウドサーバであるが、ＬＡＮ７０に接続され、インターネット８０に接続されないローカルサーバであってもよい。この場合には、スマートスピーカ３００からアプリケーションサーバ４００にユーザＩＤなどの識別情報を送信せず、音声データだけを送信してもよい。

（４）スマートスピーカ３００とプリンタ２００とを接続するインタフェースは、ブルートゥースＩＦ１６０に限らず、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢなどのインタフェースであってもよい。

（５）上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

５０…アクセスポイント、７０…ＬＡＮ、８０…インターネット、２００…プリンタ、２１０…制御部、２５０…印刷機構、２６０，３６０…ブルートゥースＩＦ、３００…スマートスピーカ、３１０…制御部、３４０…表示部、３５０…音声入出力部、３８０…無線ＬＡＮＩＦ、４００…アプリケーションサーバ、４１０…ＣＰＵ、４２０…記憶部、４２４ａ…音声解析プログラム、４２４ｂ…印刷関連プログラム、４２４ｂ′…印刷関連処理部、４２４ａ′…音声解析処理部、４８０…ネットワークＩＦ、１０００…画像形成システム。

Claims (13)

1. 通信インタフェースと、
   制御装置と、
   を備え、
   前記制御装置は、
   前記通信インタフェースを介して接続された、音声を入力及び出力するスマートスピーカから、画像形成装置のユーザが発話することにより入力された音声の内容を認識し、
   前記認識された音声の内容が、テンプレートを指定し、そのテンプレートに挿入する画像データの属性を指定して画像形成を指示する内容である場合、
   前記認識された音声の内容から、前記指定された画像データの属性を抽出し、
   前記抽出された属性を有する画像データを取得し、
   前記指定されたテンプレートに前記取得した画像データを挿入して画像形成を行うべくコマンドを前記画像形成装置に送信する、
   情報処理装置。
2. 前記制御装置は、前記取得する画像データとしてさらに、前記指定されたテンプレートに挿入する画像データの条件を満たした画像データを取得する、
   請求項１に記載の情報処理装置。
3. 前記画像データの条件は、画像データのサイズ、色及びデータフォーマットを含む、
   請求項２に記載の情報処理装置。
4. 前記情報処理装置はさらに、
   人の顔の画像データと、前記人が発した声の声紋とを対応付けて記憶する第１記憶装置
   を備え、
   前記制御装置は、
   前記入力された音声に基づいて声紋認識を行い、
   前記認識された声紋を有する人の顔の画像データを前記第１記憶装置から読み出し、
   前記取得する画像データとしてさらに、前記読み出された人の顔の画像データを含む画像データを取得する、
   請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記制御装置は、前記送信された画像データに日付情報が含まれている場合、前記日付情報を挿入して前記画像形成を行う指示を前記コマンドに追加する、
   請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記制御装置は、
   前記コマンドの送信に代えて、
   前記指定されたテンプレートを取得し、
   前記取得されたテンプレートに前記取得された画像データを挿入し、
   前記画像データが挿入されたテンプレートを印刷用画像データに変換し、
   前記変換された印刷用画像データを前記画像形成装置に送信する、
   請求項１に記載の情報処理装置。
7. 前記制御装置は、
   前記抽出された属性を示す情報を、前記通信インタフェースを介して接続された他の情報処理装置に送信し、
   これに応じて前記他の情報処理装置が検索し、前記情報処理装置に送信した、前記抽出された属性を有する画像データを取得する、
   請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記情報処理装置はさらに、
   複数の画像データを記憶する第２記憶装置
   を備え、
   前記制御装置は、
   前記抽出された属性を有する画像データを、前記第２記憶装置及び前記通信インタフェースを介して接続された他の情報処理装置から検索して取得する、
   請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記制御装置は、
   前記取得された画像データが、前記指定されたテンプレートに挿入可能な数を超えた場合、
   画像データを絞り込むための絞り込み条件の発音を前記ユーザに促すことを発音する音声データを、前記通信インタフェースを介して前記スマートスピーカに送信し、
   これに応じて前記ユーザが前記絞り込み条件を発音すると、前記取得された画像データを前記発音に係る前記絞り込み条件に基づいて絞り込む、
   請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記制御装置は、
    前記通信インタフェースを介して接続されたディスプレイに、前記取得された画像データをプレビュー表示し、
    前記ユーザが前記プレビュー表示された画像データの中から採用する画像データを指定する発音を行った場合、
    前記指定された画像データを前記テンプレートに挿入する画像データに決定する、
    請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記制御装置は、前記プレビュー表示する画像データが複数ある場合、前記複数の画像データを優先度順にプレビュー表示する、
    請求項１０に記載の情報処理装置。
12. 前記画像データの属性は、前記画像データを撮像した場所、前記画像データを撮像した日付及び前記画像データに含まれる被写体を含む、
    請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 通信インタフェースを備えた情報処理装置を用いた情報処理方法であって、
    前記通信インタフェースを介して接続された、音声を入力及び出力するスマートスピーカから、画像形成装置のユーザが発話することにより入力された音声の内容を認識する認識処理と、
    前記認識処理によって認識された音声の内容が、テンプレートを指定し、そのテンプレートに挿入する画像データの属性を指定して画像形成を指示する内容である場合、
    前記認識された音声の内容から、前記指定された画像データの属性を抽出する抽出処理と、
    前記抽出処理によって抽出された属性を有する画像データを取得する取得処理と、
    前記指定されたテンプレートに前記取得処理によって取得された画像データを挿入して画像形成を行うべくコマンドを前記画像形成装置に送信する第２送信処理と、
    を含む情報処理方法。

Images