JP7175696B2 - 画像処理システム、画像処理装置、及びその制御方法 - Google Patents

Description

本発明は、画像処理システム、画像処理装置、及びその制御方法に関する。

複合機にはコピー機能以外に、スキャナで読み取った原稿画像を複写機内部のＨＤＤ（ハードディスクドライブ）等の記憶装置へ格納し、再利用を可能とする機能（ボックス機能）が備わっている。ボックスへ格納されている画像データはＵＩ（ユーザインタフェース）から呼び出してプリントしたり、ネットワークを介して外部へ送信したりすることができる。このように、ボックス内の画像データは多目的な用途で利用される。

しかし、このような複合機等の電子デバイスの機能の高度化に伴い、ユーザにとっては操作が煩雑になってきている。特許文献１では、自然言語での指示や操作が可能な対話エージェントが提案されている。

特開２０１４－２２２５１３号公報

しかしながら、上記従来技術には以下に記載する課題がある。例えば、ボックス機能において、画像データが格納される領域は、それぞれにボックス番号が付与された複数の領域（ボックス）に分けられている。従って、ユーザは、例えば画像データの用途別に複数のボックス番号の領域を使い分けることが可能である。しかし、上記従来技術では、対話エージェントを使用したボックス操作において、ユーザはいつ、複数のボックスの何れに、どんな原稿を保存したかを覚えていない可能性がある。そのため、ユーザは結局ＵＩ上でボックスの内容を確認しながら所望する画像ファイルを選択することになり、煩雑な操作が必要とされる。このように、対話エージェントによるユーザビリティが低下するという問題がある。

本発明は、上述の問題の少なくとも一つに鑑みて成されたものであり、対話エージェントを介した操作によって、装置に保存された情報にアクセスする際に、ユーザがアクセスを所望する情報を好適に特定してユーザの利便性を改善する仕組みを提供することを目的とする。

本発明は、例えば、ボックス機能における複数のボックスを用いて画像データを管理することが可能な画像処理システムであって、音を取得するマイクロフォンと、前記マイクロフォンを介して入力されたユーザの自然言語の音声情報を取得し、該自然言語の音声情報から得られる特徴情報と、前記自然言語の音声情報に基づいて生成される字句情報とを取得する取得手段と、前記ボックス機能を実行するために利用可能な情報として前記取得した字句情報から前記ボックス機能を使用する意図に対応する１以上の単語を取得することに従って、前記特徴情報に基づいて前記複数のボックスの中から少なくとも１つのボックスを特定する特定手段と、前記自然言語の音声情報の取得に応じて、前記特定されたボックスに関する情報を含む応答情報を出力する出力手段とを備えることを特徴とする。

本発明によれば、対話エージェントを介した操作によって、装置に保存された情報にアクセスする際に、ユーザがアクセスを所望する情報を好適に特定してユーザの利便性を改善することができる。

一実施形態に係る複合機のハードウェア構成を示す図。 一実施形態に係るシステム構成を示す図。 一実施形態に係る対話エージェント動作例を示す図。 一実施形態に係るボックス保存処理を示すシーケンス図。 一実施形態に係る対話エージェント動作例を示す図。 一実施形態に係るボックスプリント処理を示すシーケンス図。 一実施形態に係るファイル管理情報の一例を示す図。 一実施形態に係るアクションを実行するための情報を示す図。 一実施形態に係る対話エージェント動作例を示す図。 一実施形態に係るボックス送信処理を示すシーケンス図。 一実施形態に係る複合機の処理手順の一例を示すフローチャート。 一実施形態に係る複合機の保存処理を示すフローチャート。

以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念及び下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確立されるのであって、以下の個別の実施形態によって限定されるわけではない。なお、実施形態に係る画像処理装置として複合機（デジタル複合機／ＭＦＰ／Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）を例に説明する。しかしながら本発明の主旨を逸脱しない範囲で、レーザプリンタやＦＡＸなどの電子写真方式の画像処理装置に適用することが可能である。また、本発明は、適用対象を画像処理装置に限定する必要はなく、画像形成機能や画像処理機能を有していない情報処理装置にも適用することも可能である。

＜第１の実施形態＞
＜画像処理装置の構成＞
以下では、添付図面を参照して、本発明の第１の実施形態について説明する。まず、図１を参照して、本実施形態に係る複合機１０のハードウェア構成を説明する。本実施形態の複合機１０はスキャナ機能を備えた複合機を想定しているが、スキャナ機能を備えない複合機であってもよい。また、本発明を適用する画像処理装置を一例に説明するが、図２を用いて後述する画像処理システムにおける各装置が協働して実現する機能等を画像処理装置やその他の装置にどのように割り当てるかは任意である。従って、本発明を以下で説明する本実施形態の構成に限定する意図はない。

複合機１０は、プリンタ部１３、スキャナ部１４、操作部１５、スピーカ１６、マイク１７、及びコントローラ１００を備える。コントローラ１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、画像処理部１０５、プリンタＩ／Ｆ１０６、スキャナＩ／Ｆ１０７、操作部Ｉ／Ｆ１０８、音声処理部１０９、無線ＬＡＮ Ｉ／Ｆ１１０、及び有線ＬＡＮ Ｉ／Ｆ１１１を備える。

ＣＰＵ１０１は、ＲＯＭ１０３が記憶している制御プログラムを読み出して、複合機１０の動作を統括的に制御するための様々な処理を実行する。ＲＯＭ１０３は、制御プログラム等を記憶している。ＲＡＭ１０２は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられ、印刷時等に画像処理部１０５によって種々の画像処理が施された画像データを保持する画像メモリとしても利用される。ＨＤＤ１０４は、印刷データやスキャン画像等の様々なデータを記憶する。ＨＤＤ１０４は、以下で説明する複数の分割されたボックス領域（例えば、１００個）を含み、ボックス機能を提供する。なお、複合機１０の場合、１つのＣＰＵ１０１が後述するフローチャートに示す各処理を実行するものとするが、他の形態であっても構わない。例えば、複数のＣＰＵが協働して後述するフローチャートに示す各処理を実行するように構成することもできる。

プリンタ部１３は、プリンタＩ／Ｆ１０６を介してＣＰＵ１０１によって制御され、外部装置から受信した印刷データやスキャナ部１４によって生成されたスキャン画像等に基づいて、シートに印刷処理を実行する。スキャナ部１４は、スキャナＩ／Ｆ１０７を介してＣＰＵ１０１によって制御され、原稿を読み取ってスキャン画像（読取画像データ）を生成する。スキャナ部１４によって生成されたスキャン画像は、プリンタ部１３によってシート等に印刷されたり、ＨＤＤ１０４のボックス領域に記憶されたりする。

操作部１５は、タッチパネル機能を有する液晶表示部やキーボードを備え、各種画像を表示する。ユーザは、操作部１５を介して複合機１０に対して指示や情報を入力することができる。操作部１５は、操作部Ｉ／Ｆ１０８を介して、コントローラ１００に接続されている。

スピーカ１６は音声処理部１０９で処理した音波信号を発信するための出力インタフェースである。マイク１７は外部から音波信号を受信するための入力インタフェースである。有線ＬＡＮ Ｉ／Ｆ１１１は、ＬＡＮ Ｉ／Ｆコネクタを介してＬＡＮ１２に接続し、通信先のＰＣとネットワーク通信を行う。無線ＬＡＮ Ｉ／Ｆ１１０は、アンテナである無線ＬＡＮ通信部１１を介して、アクセスポイント等の外部装置（不図示）との間で無線ＬＡＮ通信を実行する。コントローラ１００内の各ブロックはシステムバス１１２によって相互にデータを送受可能に接続されている。マイク１７は外部から音波信号を受信するための入力インタフェースである。スピーカ１６は、複合機１０のコントローラ１００内の音声処理部１０９で処理した音波信号を発信するための出力インタフェースである。

＜システム構成＞
次に、図２を参照して、本実施形態のシステム構成を説明する。本実施形態に係る複合機１０は、ユーザと、音声入力等により対話を行う対話エージェントを有する。当該対話エージェントは、ユーザ５０からの操作入力を、マイク１７から自然言語で受け取り、クラウド上の自然言語処理、字句解析サービス（例えば、サーバ装置）３０へ送信する。ここで複合機１０がユーザの音声を取得する構成については、複合機１０に接続されたマイク１７に限らず、モバイル端末４０に内蔵されたマイク（不図示）を用いてもよい。この場合、複合機１０とモバイル端末４０を無線ＬＡＮやＵＳＢにより無線接続又は有線接続６０することで、複合機１０を介してモバイル端末４０に入力されたユーザの音声を自然言語処理、字句解析サービス３０へ送信する。或いは、モバイル端末４０からの音声を自然言語処理、字句解析サービス３０へ直接送信してもよい。

本実施形態では、自然言語処理、字句解析サービス３０をクラウド上のサービスとして説明する。しかしながら、本発明を限定する意図はなく、複合機１０やモバイル端末４０等に設けられてもよい。自然言語処理、字句解析サービス３０は、複合機１０又はモバイル端末４０上の対話エージェントからユーザからの操作を自然言語で受け取ると、自然言語処理を行い、抽出された字句を解析する。その結果に応じて、クラウド上のサービスである複合機管理サービス２０と通信を行い、自然言語処理、字句解析サービス３０からの通信に基づいて、複合機１０と通信を行う。複合機管理サービス２０は、管理サーバの一例である。複合機管理サービス２０は、自然言語処理、字句解析サービス３０と、複数の複合機との間に設けられる中間機能であり、複合機管理サービス２０からの命令を所定の複合機へ送信し、当該複合機からのレスポンスを自然言語処理、字句解析サービス３０へ通知する。なお、複合機管理サービス２０は、自然言語処理、字句解析サービス３０と同じ装置に設けられてもよいし、別の装置に設けられてもよい。本実施形態では、ユーザの音声を取得する構成として複合機１０に接続されたマイク１７を用いた場合の動作を一例に説明する。

＜対話エージェント＞
次に、図３を参照して、本実施形態の対話エージェントの動作例を説明する。まず、ユーザ５０が複合機１０の操作部１５を操作する、又はユーザ５０が複合機１０に対して所定の単語を発話することによって、対話エージェントが起動され、複合機１０は対話モードに入る。そして、ユーザ５０は３０１にて、複合機１０上の対話エージェントを起動させた状態で、自然言語による音声でボックス機能の起動を伝える。ボックス機能とは、上述したように、ＨＤＤ１０４が備える複数のボックス領域へのファイルの保存や、所定のボックス領域からのファイルの読み出し機能を提供するものである。３０１、３０３は、ユーザ５０の音声で入力された情報を示す。３０２、３０４、３０５は、自然言語処理、字句解析サービス３０からの送信に応じ、スピーカ１６を介した音声による再生、又は操作部１５に表示される自然言語データである。図３に示す内容は、複合機１０やモバイル端末４０の操作部等に表示されてもよい。

複合機１０は入力された自然言語データ３０１を自然言語処理、字句解析サービス３０に送信する。自然言語処理、字句解析サービス３０は、入力された自然言語データを解析し、文節及び単語に区切る。そして、それぞれの単語の中から名詞を取り出し、それらの名詞を固有名詞やその他の名詞に分類する。その結果、分類された名詞の中に、予め登録された「アクションを実行するための情報」が揃っているかを判別する。

図８に本実施形態におけるアクションを実行するための情報８００の例を示す。例えば、本実施形態においてボックス機能を使用するための呼び出し名８０１「ボックス」やボックス機能に対するアクション８０２「保存、プリント、送信」等を予め登録しておく。さらに、時間を表す付加情報８０３「○月、○日、○時、○分、今日、昨日、○日前」等や、所定のボックス領域を指すボックス番号を示す付加情報８０４「○番」を予め登録しておく。自然言語処理、字句解析サービス３０による自然言語３０１の判別の結果、図３の例では「アクションを実行するための情報」のうち、付加情報２「ボックス番号」（８０４）が不足していると判断される。そのため、自然言語処理、字句解析サービス３０は、「ボックス番号」を特定するための問い合わせを複合機１０に送信する。

複合機１０の対話エージェントは、受信した問い合わせ３０２を音声及び表示の少なくとも一方で出力する。本実施形態において付加情報８０３、８０４は、必ずしも必要な情報ではなく、アクション８０２と併せて判断される補助的な情報である。この情報を用いた他の例としては、「○日前に保存したファイルを送信して」や「○番のボックスに保存したファイルをプリント」といった複数パターンの自然言語データからボックス機能を操作可能である。

ユーザ５０は、複合機１０上の対話エージェントから、３０３にて保存したいボックス番号を自然言語で伝える。複合機１０は自然言語処理、字句解析サービス３０に入力された自然言語データを自然言語処理、字句解析サービス３０に送信する。自然言語処理、字句解析サービス３０は、受信した入力を解析する。その結果、予め登録されている処理を実行するための情報が揃ったため、自然言語処理、字句解析サービス３０は、複合機管理サービス２０にボックス機能開始を要求する。その後、複合機管理サービス２０から自然言語処理、字句解析サービス３０を介して複合機１０に自然言語により処理を開始する旨を応答し（３０４）、ボックス保存処理を実行する。複合機１０はユーザに対して原稿のスキャンを実行している旨を音声で案内する（３０５）。

＜保存処理のシーケンス＞
次に、図４を参照して、本実施形態の保存処理のシーケンスを説明する。ここではユーザが希望する任意のボックスへ画像データを保存する処理の流れを例に説明する。以下で説明する処理は、例えば、各装置のＣＰＵがＲＯＭやＨＤＤに格納された制御プログラムをＲＡＭに読み出して実行することにより実現される。

複合機１０上の対話エージェントがユーザからの操作を自然言語で受け取ると、Ｓ４０１で、複合機１０は、自然言語処理、字句解析サービス３０に自然言語で表現されるユーザ操作リクエストを送信する。続いて、Ｓ４０２で、自然言語処理、字句解析サービス３０は、ユーザ操作リクエストを自然言語処理し、字句解析する。その後、Ｓ４０３で、自然言語処理、字句解析サービス３０は、解析の結果、予め登録されている情報が揃っていない場合、自然言語で表現されたユーザ操作レスポンスを複合機１０に送信する。自然言語処理、字句解析サービス３０には、予め、必要な情報と、それが揃ったときに実行する処理が登録されており、複合機１０と自然言語処理、字句解析サービス３０は、上述のやり取りを、必要な情報が揃うまで繰り返す。

図３と図８を例に説明すると、例えばボックス機能における必要な情報とは、図８のアクション８０２を実行するための情報８００を指す。図３ではユーザ５０が複合機１０に対して「ボックスに保存したい」と伝えた場合、「何番のボックスに保存するか」といった情報が不足している。そのため、自然言語処理、字句解析サービス３０は「保存」というアクション８０２を実行するために必要な付加情報８０４（ボックス番号）をユーザ５０に対して問い合わせる。

次に、Ｓ４０４で、自然言語処理、字句解析サービス３０は、上述のやり取りの結果、必要な情報が揃うと、複合機管理サービス２０に、複合機のボックス機能の起動要求を送信する。Ｓ４０５で、複合機管理サービス２０は、自然言語処理、字句解析サービス３０から複合機のボックス機能の開始要求を受信すると、自然言語処理、字句解析サービス３０に対してボックス機能の開始応答を送信する。Ｓ４０６で、自然言語処理、字句解析サービス３０は、複合機管理サービス２０からボックス開始応答を受信すると、複合機１０に対しボックス機能の開始応答を送信する。また、Ｓ４０７で、複合機管理サービス２０は、複合機１０に対しボックス機能の開始命令を送信する。上記ボックス機能の開始応答や開始命令における通知には、ユーザとの対話で決定したボックス番号（例えば、３０３）が含まれる。従って、複合機１０は指定されたボックス番号に対してボックス機能の処理を実行する。なお、複合機１０は、ボックス機能の処理の中で、上記指定されたボックス番号以外のボックス番号のボックスにアクセスすることも可能である。

次に、Ｓ４０８で、複合機１０は、ボックス機能の開始命令を受信すると、図１２を用いて後述するボックス保存処理を実行する。保存形式はｐｄｆやｊｐｅｇ、ＴＩＦＦ等の任意のフォーマットでよい。続いて、Ｓ４０９で、複合機１０はボックス保存処理の終了後、ボックス機能の完了応答として複合機管理サービス２０に応答し、処理を終了する。ここで、複合機１０は、複合機管理サービス２０に対してファイル管理情報を生成して、送信する。複合機管理サービス２０は、複合機１０から受信したファイル管理情報を複合機管理サービスが備えるＨＤＤ等の記憶装置に格納する。複合機管理サービス２０は、過去に受信したファイル管理情報の履歴を検索できるようファイル情報管理データベースとして保管しているものとし、データベースの更新処理を実施する。

＜ファイル管理情報＞
ここで、図７を参照して、ファイル管理情報７００の一例を説明する。なお、以下で説明するファイル管理情報７００は、複合機管理サービス２０で管理する情報であるが、各複合機においてもユーザと対話した記録として、当該対話に関連するファイル管理情報７００を保持してもよい。ファイル管理情報７００は、保存されるデータ（ファイル）ごとに生成される情報であり、保存したデータに関連する情報や、保存したユーザに関連する情報が含まれる。なお、図７で説明するファイル管理情報７００に本発明を限定する意図はなく、全ての情報を管理しなくてもよく、或いは、追加的に他の情報を管理してもよい。

ファイル管理情報７００には、ファイル名７０１、保存日時７０２、用紙サイズ７０３、ページ数７０４、ボックス番号７０５、及びユーザＩＤ７０６、及び音声ＩＤ（ＶｏｉｃｅＩＤ）７０７といった情報が含まれる。ユーザＩＤ７０６は、ユーザ５０が複合機１０に対してＩＤ入力やＩＤカードにより個人認証等を行うことで特定してもよい。音声ＩＤ７０７は、自然言語処理、字句解析サービス３０が予めユーザ５０の音声の特徴情報を登録しておき、ユーザ操作のリクエスト時にユーザを識別し、ユーザ操作のレスポンス時に複合機１０に対して識別したユーザを通知してもよい。また、ファイル管理情報７００に含まれる情報は前述したものに限らず他の情報であってもよい。また、ユーザ指示により、該当するファイルを検索する際に、予め識別されたユーザＩＤ７０６又は音声ＩＤ７０７によって保存されたファイルのみ検索するようにすればさらに利便性は向上する。

＜処理手順＞
次に、図１１を参照して、本実施形態に係る複合機１０の処理手順を説明する。以下で説明する処理は、例えば、複合機１０のＣＰＵ１０１がＲＯＭ１０３、ＨＤＤ１０４に予め格納された制御プログラムをＲＡＭ１０２に読み出して実行することにより実現される。なお、ここでは、ユーザが音声により対話エージェントと対話を行う場合について説明する。

Ｓ１１０１で、ＣＰＵ１０１は、マイク１７によってユーザの音声入力を受信し、当該音声の認識（話者の特定）を行う。ここでのユーザからの音声入力の受信は、図３を用いて説明した、対話エージェントの起動時の音声入力や、３０１に示す入力の際に行われる。話者認識では、受信した音声信号の特徴を抽出して、ユーザごとの特徴情報の生成が行われる。話者認識によって特定される情報は、固有の生体情報であり、話者を特定する情報として用いられる。当該処理については既知の手法を用いて行うものであり、詳細な説明は省略する。なお、当該話者認識については、複合機１０で行ってもよいし、クラウド上のサーバで行われてもよい。クラウド上のサーバで行う場合には、受信した音声信号を当該サーバへ送信し、応答として、固有の特徴情報に紐づけられた音声ＩＤを取得してもよい。

話者を特定すると、Ｓ１１０２で、ＣＰＵ１０１は、特定された話者が既に登録されているかどうかを判定する。ここでは、登録した話者のテーブルを参照して、特定した話者と一致する情報、例えば音声ＩＤが登録されているか否かを判定してもよい。当該テーブルについては、複合機１０で保持しているテーブルでも良いし、複合機管理サービス２０で管理されているファイル管理情報でもよい。複合機管理サービス２０のファイル管理情報を用いる場合は、ＣＰＵ１０１は、特定した話者の音声ＩＤ（特徴情報）を、複合機管理サービス２０へ送信し、応答として、特定した話者が既に登録されているかの情報を取得するようにしてもよい。また、最初は自装置で保持しているテーブルを参照して判定し、該当者がいなければ複合機管理サービス２０へ問い合わせるようにしてもよい。これは、各複合機のメモリ資源を有効に使用すべく、各複合機が関連するユーザのみを登録するような場合に有効である。話者が既に登録されている場合は、Ｓ１１０４に進み、そうでない場合はＳ１１０３に進む。

Ｓ１１０３で、ＣＰＵ１０１は、特定された話者の音声ＩＤを、保持しているテーブル又は複合機管理サービス２０へ登録し、Ｓ１１０４へ進む。Ｓ１１０４で、ＣＰＵ１０１は、Ｓ４０２で解析されたユーザ操作によるリクエストがボックス保存処理であるか否かを判定する。ボックス保存処理であればＳ１１０６へ進み、そうでない場合はＳ１１０５へ進む。Ｓ１１０５で、ＣＰＵ１０１は、ユーザのリクエストに応じて、ボックスへのアクセスを行い、処理を終了する。一方、Ｓ１１０６で、ＣＰＵ１０１は、ＨＤＤ１０４の所定の領域であるボックスへの保存処理を実行し、処理を終了する。ボックス保存処理の詳細については図１２を用いて後述する。

＜ボックス保存処理＞
次に、図１２を参照して、本実施形態に係るＳ１１０６のボックス保存処理の詳細を説明する。以下で説明する処理は、例えば、複合機１０のＣＰＵ１０１がＲＯＭ１０３、ＨＤＤ１０４に予め格納された制御プログラムをＲＡＭ１０２に読み出して実行することにより実現される。

Ｓ１２０１で、ＣＰＵ１０１は、複合機１０の自動原稿搬送装置又は原稿台に載置された原稿をスキャナ部１４によって読み取って画像データを生成する。続いて、Ｓ１２０２で、ＣＰＵ１０１は、生成された画像データを、Ｓ４０６やＳ４０７で指定されたボックス番号のボックスに保存する。さらに、Ｓ１２０３で、ＣＰＵ１０１は、保存した画像データのファイル情報を生成して保存する。ここで、ファイル情報とは、少なくともファイル名、保存日時、ファイルサイズ（用紙サイズ）、ページ数、保存したボックスのボックス番号、及びユーザＩＤを含む。なお、ユーザＩＤに加えて又は代えて、特定された話者の音声ＩＤ（特徴情報）が含まれてもよい。

次に、Ｓ１２０４で、ＣＰＵ１０１は、複合機１０によるボックス使用履歴を更新し、学習を行う。ここで、ボックス使用履歴とは、所定のボックス番号のボックスに対して行った操作の内容や、日時が含まれる。続いて、Ｓ１２０５で、ＣＰＵ１０１は、特定した話者の情報（ユーザＩＤや音声ＩＤ）と、生成したファイル情報と、ボックス使用履歴とを紐づけて保存する。

なお、Ｓ１２０３乃至Ｓ１２０５で保存される情報は、複合機１０に保存してもよいし、複合機管理サービス２０に送信して、当該装置において保存してもよいし、或いは、その両方であってもよい。これらの保存情報は、図７を用いて説明したファイル管理情報として複合機１０又は複合機管理サービス２０で管理され、対話エージェントを起動した際に、ユーザがアクセスしうるボックスを推定するために利用することができる。つまり、本実施形態に係るシステムでは、対話エージェントを起動する際や、上記３０１のユーザ入力において受信した音声に対して話者特定を行い、特定した話者が過去に使用したボックスを提示する。これにより、ユーザインタフェースにおける利便性を向上させることができる。

本実施形態ではスキャンした原稿をボックスに保存するフローに関して説明したが、ボックスに保存されているファイルをプリント、又は外部へ送信する場合も同様に実施することができる。この場合、ユーザは対話エージェントに対して保存するボックス番号ではなく、プリント、又は送信したいファイルの宛先（例えばメールアドレス）を伝えればよい。

本発明によればボックス機能により保存された画像データ（ファイル）の管理情報を蓄積しておき、次にボックス機能を使用する際、対話エージェントを介して画像データの管理情報を参照することで、ユーザが所望する画像データを特定することができる。これにより、対話エージェントを使用したボックス機能の操作におけるユーザの利便性を向上させることが可能になる。以下では、管理情報の利用方法についてより詳細に説明する。

上述したように、ユーザ５０は複合機１０の対話エージェントに対して保存するボックス番号を伝える必要があった。しかし、ユーザ５０が保存したファイルを再利用（プリントやネットワーク経由での外部送信等）する場合、いつ、どこに、どんなファイルを保存しているか覚えていない場合、ファイルを探すには音声による操作だけでは不便が生じる。そのため、ユーザ５０は音声と操作部１５による操作を併用する場合が考えられるが、これらの操作は煩雑なものとなってしまう。そこで、本実施形態では、ユーザが音声によってボックス機能を操作する際の利便性をさらに向上させるための動作の例を説明する。

＜ボックスプリント処理＞
次に、図５を参照して、本実施形態に係るボックスプリント処理時の対話エージェントの動作例を説明する。まず、ユーザ５０が複合機１０の操作部１５を操作する、又はユーザ５０が複合機１０に対して所定の単語を発話することによって、複合機１０上で対話エージェントが起動され、複合機１０は対話モードに移行する。そして、ユーザ５０は５０１で、複合機１０上の対話エージェントを起動させた状態で、自然言語による音声でボックス機能の起動を伝える。５０１、５０３は、ユーザ５０の音声で入力された情報である。５０２、５０４は、自然言語処理、字句解析サービス３０からの送信に応じ、スピーカ１６を介した音声による再生、又は操作部１５に表示される自然言語データである。

５０１で、ユーザは、「〇月×日に保存したファイルをプリント」と発話する。これに対して、図１１を用いて上述したように、複合機１０は、ユーザが当該データ（ファイル）を保存した際の話者の登録情報（特に、音声ＩＤ）やそれに紐づけられたファイル情報などに従って、ユーザ入力の音声から話者を特定する。さらに、複合機１０は、特定した話者に紐づく保存されているファイルを特定する。なお、これらの特定処理は、複合機管理サービス２０や自然言語処理、字句解析サービス３０において行ってもよい。

その後、複合機１０は、自然言語処理、字句解析サービス３０からの指示に従って、「ファイル名：ａｂｃｄｅｆでよろしいですか？」と、ユーザに対して応答する。ここで、所望のファイルであれば、ユーザ５０は、５０３で「はい」と応答する。複合機１０は、５０４で「ファイル名：ａｂｃｄｅｆをプリントします」と応答し、プリントを実行する。

＜ボックスプリント処理のシーケンス＞
次に、図６を参照して、本実施形態に係るボックスプリント処理のシーケンスを説明する。以下で説明する処理は、例えば、各装置のＣＰＵがＲＯＭやＨＤＤに格納された制御プログラムをＲＡＭに読み出して実行することにより実現される。

Ｓ６０１で、複合機１０は、入力された自然言語データ（５０１）を自然言語処理、字句解析サービス３０に送信する。なお、ここで、複合機１０は、図１１を用いて上述したように、ユーザ入力された音声から話者の特定を行う。Ｓ６０２で、自然言語処理、字句解析サービス３０は、入力された自然言語データを解析し、文節及び単語に区切り、それぞれの単語の中から名詞を取り出し、それらの名詞を固有名詞やその他の名詞に分類する。その結果、自然言語処理、字句解析サービス３０は、分類された名詞の中に、予め登録した、「アクションを実行するための情報」が揃っているか否かを判別する。自然言語処理、字句解析サービス３０は、解析の結果、予め登録されている情報が揃っていない場合には、Ｓ６０３で、自然言語で表現されたユーザ操作レスポンスを複合機１０に送信する。自然言語処理、字句解析サービス３０には、予め、必要な情報と、それが揃ったときに実行する処理が登録されており、複合機１０と自然言語処理、字句解析サービス３０はこれらのやり取りを、必要な情報が揃うまで繰り返す。

ここで、話者を特定することができれば、自然言語処理、字句解析サービス３０は、複合機管理サービス２０や複合機１０と連携して、ユーザがアクセスしようとしているボックス番号やファイルを推定する。推定した情報は、当該ユーザ操作レスポンスで（５０２）でユーザに問い合わせられる。このようにユーザの音声ＩＤから管理されている情報（ボックスやファイル）等を特定し、ユーザに提示することにより、ユーザインタフェースにおける利便性を向上することができる。例えば、ファイル管理情報に含まれる名詞として、保存日時を表す「○月×日」が含まれる場合、自然言語処理、字句解析サービス３０は、Ｓ６０４で、複合機管理サービス２０に対して、特定した話者によって「○月×日」に保存されたファイルがあるかを照合する。続いて、Ｓ６０５で、複合機管理サービス２０は、後述するファイル管理情報の中から保存日時「○月×日」に該当するファイルを検索する。該当するファイルがあった場合は、Ｓ６０６で、複合機管理サービス２０は、ファイル管理情報の照合結果を、自然言語処理、字句解析サービス３０へ送信する。その後、Ｓ６０７で、自然言語処理、字句解析サービス３０は、照合結果を自然言語による音声に変換して複合機１０に送信する（５０２）。

その後、Ｓ６０８～Ｓ６１０において、Ｓ６０１～Ｓ６０３と同様に、ユーザ５０の音声から予め登録した、「アクションを実行するための情報」が揃うまで、判別する処理を繰り返す（５０３）。次に、Ｓ６１１で、自然言語処理、字句解析サービス３０は、上述のやり取りの結果、必要な情報が揃うと、複合機管理サービス２０に、複合機のボックス機能の起動要求を送信する。Ｓ６１２で、複合機管理サービス２０は、自然言語処理、字句解析サービス３０から複合機のボックス機能の開始要求を受信すると、自然言語処理、字句解析サービス３０に対してボックス機能の開始応答を送信する。Ｓ６１３で、自然言語処理、字句解析サービス３０は、複合機管理サービス２０からボックス機能の開始応答を受信すると、複合機１０に対しボックス機能の開始応答を送信する（５０４）。また、Ｓ６１４で、複合機管理サービス２０は、複合機１０に対しボックス機能の開始命令を送信する。当該開始命令には、少なくともアクセスするボックス番号と、所定のファイルを示す情報と、ボックスプリント指示（印刷指示）とが含まれる。

次に、Ｓ６１５で、複合機１０は、ボックス機能の開始命令を受信すると、指定されたボックス番号のボックス領域に保存された所定のファイルのボックスプリント処理を実行する。Ｓ６１６で、複合機１０は、ボックスプリント処理を終了した後、ボックス機能の完了応答として複合機管理サービス２０に応答を送信する。続いて、Ｓ６１７で、複合機１０は、複合機管理サービス２０に対してファイル管理情報を生成して、送信する。複合機管理サービス２０は、複合機１０から受信したファイル管理情報を複合機管理サービスが備えるＨＤＤ等の記憶装置に格納する。

Ｓ６１８で、複合機管理サービス２０は、過去に受信したファイル管理情報の履歴を検索できるようファイル情報管理データベースとして保管しているものとし、データベースの更新処理を実施する。Ｓ６１９で、複合機管理サービス２０は、複合機１０に対して、ファイル管理情報の更新が成功したことを示すファイル管理情報の更新応答を送信し、処理を終了する。

以上説明したように、本実施形態に係る画像処理装置は、ユーザと自然言語を用いて対話可能な対話エージェントを有する画像処理装置である。当該対話エージェントは、クラウド上にある各種サーバの自然言語処理、字句解析サービスと、複合機管理サービスと連携して実現されうる。本画像処理装置は、対話エージェントと対話を行うユーザの音声を受信し、受信した音声の特徴からユーザを特定し、特定されたユーザに紐づけられた保存領域又は保存データを推定し、対話エージェントを通じて、推定された保存領域又は保存データを提示する。このように、本実施形態によれば、対話エージェントを介した操作によって、装置に保存された情報にアクセスする際に、ユーザがアクセスを所望する情報を好適に特定してユーザの利便性を改善することができる。

また、本実施形態に係る画像処理装置は、ユーザを特定できない場合は、音声の特徴に基づくユーザを新たに登録する。この際、音声からユーザを特定するための識別情報と、使用したファイルや保存領域の履歴情報とを紐づけて登録する。また、ボックス領域に対してファイルの保存が行われた場合には、ファイル管理情報をデータベース化して管理しておく。ファイル管理情報は、ファイル名、保存日時、原稿の用紙サイズ、原稿のページ数、保存されたボックス領域を示すボックス番号、ユーザＩＤ、及び音声ＩＤの少なくとも１つを含む。このように、本実施形態によれば、ファイル管理情報をデータベース化して記憶しておくことで、ボックス内のファイルを再利用する際の利便性を向上させることができる。

＜第２の実施形態＞
以下では、本発明の第２の実施形態を説明する。上記第１の実施形態ではファイル管理情報をデータベース化し、ボックス内のファイルをプリントする動作を説明した。本実施形態ではボックス内のファイルを、ＬＡＮ１２等のネットワークを通じて複合機１０の外部、例えばメールアドレス宛てにファイルを送信する動作の例を説明する。

＜ボックス送信処理＞
図９を参照して、本実施形態に係る対話エージェント動作例を説明する。まず、ユーザ５０が複合機１０の操作部１５を操作する、又はユーザ５０が複合機１０に対して所定の単語を発話することによって、対話エージェントが起動される。複合機１０は対話モードに移行する。

そして、ユーザ５０は９０１にて、複合機１０上の対話エージェントを起動させた状態で、自然言語による音声でボックス機能の起動を伝える。ここで、複合機１０は、図５を用いて説明したのと同様に、話者の特定を行う。９０１、９０３、９０５は、ユーザ５０の音声で入力された情報である。９０２、９０４、９０６は、自然言語処理、字句解析サービス３０からの送信に応じ、スピーカ１６を介した音声による再生、又は操作部１５に表示される自然言語データである。

具体的には、９０１で、ユーザは、「ａｂｃｄｅｆというファイルを送信」と発話する。これに対して、自然言語処理、字句解析サービス３０は、ボックス送信処理を実行する指示であると解析し、そのために必要な情報、例えば、送信宛先の情報を対話により取得する（９０２、９０３）。その後、必要な情報が揃うと、自然言語処理、字句解析サービス３０は、最終的な指示の確認を行い（９０４、９０５）、処理の実行を複合機１０に依頼する（９０６）。

＜ボックス送信処理のシーケンス＞
次に、図１０を参照して、本実施形態に係るボックス送信処理シーケンスを説明する。ここでは、上記第１の実施形態で説明した図６と異なる部分について主に説明する。即ち、Ｓ１００７～Ｓ１００９で自然言語処理、字句解析サービス３０が複合機１０に対して送信先のアドレスを照合する点についてのみ説明する。他の処理であるＳ１００１乃至Ｓ１００６、Ｓ１０１４乃至Ｓ１０２２は、図６のＳ６０１乃至Ｓ６０７、Ｓ６０８乃至Ｓ６１９と同様の処理であるため説明を省略する。

本実施形態における複合機１０のボックスはアドレス帳機能を備えており、予め「名前」と「メールアドレス」を登録しておけば、ボックス送信時にアドレス帳を利用してファイルを送信することができる。Ｓ１００７で、自然言語処理、字句解析サービス３０は、９０３で入力された音声の解析結果から、複合機１０のアドレス帳に該当する名前（ここでは、”佐藤”）が存在するか否かを複合機１０に対して照合する。

Ｓ１００８で、複合機１０は、自然言語処理、字句解析サービス３０から入力されたアドレス情報に含まれる名前からアドレス帳を照合し、自然言語処理、字句解析サービス３０に対して照合結果を応答する。アドレス帳に存在する場合は、Ｓ１０１０で、自然言語処理、字句解析サービス３０は、最終的な指示の確認を行う（９０４）。

その後、Ｓ１０１７で、複合機管理サービス２０は、ボックス機能の開始命令に、少なくとも、送り先情報（アドレス帳に登録された名前）と、ボックス番号、ファイル、ボックス送信処理の指示（送信指示）を付加し、複合機１０に送信する。Ｓ１０１８で、複合機１０は、ボックス送信処理を実行する際に、送り先情報を元にメールアドレスを参照し、ファイルの送り先を決定し、処理を実行する。

以上説明したように、本実施形態に係る画像処理装置は、ボックス内に保存されたファイルを外部装置へ送信するボックス送信を行う場合であっても、上記第１の実施形態と同様の効果を得ることができる。より具体的には、対話エージェントを通じて操作を行うユーザ（話者）を特定し、特定した話者に関連するボックスや保存ファイルを提示することにより、ユーザがボックス送信の指示を行う際の利便性を向上させることができる。

＜変形例＞
なお、本発明は上記第１及び第２の実施形態に限らず様々な変形が可能である。例えば、上記実施形態では、ユーザの音声ＩＤを特定し、当該音声ＩＤに紐づく、ボックス番号やその中に保存されたファイルを特定する制御について説明した。しかし、ユーザが必ずしも１つのボックスのみを利用するわけではなく、複数のボックスやファイル等を利用することも当然に予想される。そのような場合に、ユーザは１つずつのボックスを確認し、所望の保存ファイルを探し出すことは煩わしいものである。そこで、このような場合においては、ファイル管理情報として、音声ＩＤに紐づけて、その使用履歴からボックスやファイル等の使用頻度又は最新の使用状況から所定のボックスやファイルを優先的に提示するように制御してもよい。これにより、上述のようなケースであっても、ユーザインタフェースの利便性を向上することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：複合機管理サービス、３０：自然言語処理、字句解析サービス、４０：モバイル端末、５０：ユーザ

Claims (10)

1. ボックス機能における複数のボックスを用いて画像データを管理することが可能な画像処理システムであって、
   音を取得するマイクロフォンと、
   前記マイクロフォンを介して入力されたユーザの自然言語の音声情報を取得し、該自然言語の音声情報から得られる特徴情報と、前記自然言語の音声情報に基づいて生成される字句情報とを取得する取得手段と、
   前記ボックス機能を実行するために利用可能な情報として前記取得した字句情報から前記ボックス機能を使用する意図に対応する１以上の単語を取得することに従って、前記特徴情報に基づいて前記複数のボックスの中から少なくとも１つのボックスを特定する特定手段と、
   前記自然言語の音声情報の取得に応じて、前記特定されたボックスに関する情報を含む応答情報を出力する出力手段と
   を備えることを特徴とする画像処理システム。
2. 前記特定されたボックスに関する前記情報は、該特定されたボックスのボックス番号、及び該特定されたボックスに格納されたファイル名の少なくとも１つを含むことを特徴とする請求項１に記載の画像処理システム。
3. ディスプレイを介して前記特定されたボックスに関する前記情報を表示する表示手段をさらに備えることを特徴とする請求項１又は２に記載の画像処理システム。
4. 画像データを保存することを指示する自然言語の音声情報に基づいて、前記複数のボックスのうちの１つに画像を保存する保存手段と、
   前記画像データについての情報を示す管理情報を生成する生成手段と
   をさらに備えることを特徴とする請求項１乃至３の何れか１項に記載の画像処理システム。
5. 前記管理情報は、ファイル名、保存日時、文書の用紙サイズ、文書のページ数、保存されるボックス領域を示すボックス番号、ユーザＩＤ、及び前記特徴情報を示す音声ＩＤの少なくとも１つを含むことを特徴とする請求項４に記載の画像処理システム。
6. 前記出力手段は、前記取得した特徴情報に関連する使用履歴に基づいて前記応答情報を出力することを特徴とする請求項１乃至５の何れか１項に記載の画像処理システム。
7. 画像データの出力指示を受け付ける受付手段をさらに備えることを特徴とする請求項１乃至６の何れか１項に記載の画像処理システム。
8. 前記特定手段は、ボックス機能の実行に対応する指示情報が取得された場合に、前記取得した特徴情報に関連する使用履歴に基づいて、前記複数のボックスのうち、前記取得した特徴情報に関連付けられる少なくとも１つのボックスを特定することを特徴とする請求項１乃至７の何れか１項に記載の画像処理システム。
9. ボックス機能における複数のボックスを用いて画像データを管理することが可能な画像処理装置であって、
   音を取得するマイクロフォンと、
   前記マイクロフォンを介して入力されたユーザの自然言語の音声情報を取得し、該自然言語の音声情報から得られる特徴情報と、前記自然言語の音声情報に基づいて生成される字句情報とを取得する取得手段と、
   前記ボックス機能を実行するために利用可能な情報として前記取得した字句情報から前記ボックス機能を使用する意図に対応する１以上の単語を取得することに従って、前記特徴情報に基づいて前記複数のボックスの中から少なくとも１つのボックスを特定する特定手段と、
   前記自然言語の音声情報の取得に応じて、前記特定されたボックスに関する情報を含む応答情報を出力する出力手段と
   を備えることを特徴とする画像処理装置。
10. 音を取得するマイクロフォンを備え、ボックス機能における複数のボックスを用いて画像データを管理することが可能な画像処理装置の制御方法であって、
    取得手段が、前記マイクロフォンを介して入力されたユーザの自然言語の音声情報を取得し、該自然言語の音声情報から得られる特徴情報と、前記自然言語の音声情報に基づいて生成される字句情報とを取得する取得工程と、
    特定手段が、前記ボックス機能を実行するために利用可能な情報として前記取得した字句情報から前記ボックス機能を使用する意図に対応する１以上の単語を取得することに従って、前記特徴情報に基づいて前記複数のボックスの中から少なくとも１つのボックスを特定する特定工程と、
    出力手段が、前記自然言語の音声情報の取得に応じて、前記特定されたボックスに関する情報を含む応答情報を出力する出力工程と
    を含むことを特徴とする画像処理装置の制御方法。

Images