JP6954322B2 - 情報処理装置、及び学習装置 - Google Patents

Description

本発明は、情報処理装置、学習装置及び学習済モデル等に関する。

従来、電子機器に関する操作を行う際のユーザー負担を軽減するための手法が種々知られている。例えば特許文献１には、機械学習によって予測モデルを作成する手法、及び、当該予測モデルとユーザーアクションに基づいて、ユーザーが利用しようとする機能を予測する手法が開示されている。

特開２０１８−９９８１７号公報

画像情報に関するユーザー操作が行われる場合、当該画像情報に応じてユーザーの望む操作が異なる可能性がある。特許文献１等の従来手法においては、画像情報が考慮されていないため、ユーザーに推奨される操作を適切に推定することが困難である。

本開示の一態様は、画像情報と、前記画像情報に関するユーザー操作を表す操作情報とを対応付けたデータセットに基づき、前記画像情報と前記操作情報との関係を機械学習した学習済モデルを記憶する記憶部と、前記画像情報を入力として受け付ける受付部と、前記学習済モデルに基づいて、入力として受け付けた前記画像情報に関して推奨される操作を表す推奨操作情報を決定する処理部と、を含む情報処理装置に関係する。

電子機器を含むシステムの構成例。 端末装置の構成例。 電子機器の構成例。 端末装置の表示部に表示される操作画面の例。 用紙種類に関する操作画面の例。 印刷品質に関する操作画面の例。 カラー設定に関する操作画面の例。 給紙方法に関する操作画面の例。 用紙サイズに関する操作画面の例。 端末装置の表示部に表示される操作画面の遷移例。 電子機器の表示部に表示される操作画面の例。 学習装置と情報処理装置を含む機器の例。 学習装置と情報処理装置を含む機器の例。 学習装置の構成例。 ニューラルネットワークの例。 観測データと訓練データの例。 本実施形態にかかるニューラルネットワークの具体例。 情報処理装置の構成例。 情報処理装置における処理を説明するフローチャート。 推奨操作情報を提示する画面の例。 推奨操作情報を提示する画面の例。 推奨操作情報を提示する画面の例。 情報処理装置における処理を説明するフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが必須構成要件であるとは限らない。

１．概要
図１は、端末装置３００と電子機器４００を含むシステム１０の一例を模式的に示す図である。端末装置３００は、スマートフォンやタブレット端末等の携帯端末装置であってもよいし、ＰＣ（Personal Computer）等の装置であってもよい。電子機器４００は、例えばプリンターである。或いは電子機器４００は、スキャナー、ファクシミリ装置又はコピー機であってもよい。電子機器４００は、複数の機能を有する複合機（ＭＦＰ：Multifunction Peripheral）であってもよく、印刷機能を有する複合機もプリンターの一例である。

図２は、端末装置３００の構成の一例を示すブロック図である。端末装置３００は、処理部３１０、通信部３２０、表示部３３０、操作部３４０、記憶部３６０を含む。

処理部３１０は、通信部３２０、表示部３３０、操作部３４０、記憶部３６０の各部の制御を行う。処理部３１０は、ＣＰＵ（Central Processing Unit）等のプロセッサーである。通信部３２０は、無線通信チップ等の通信インターフェースであり、電子機器４００を含む他の機器との通信を行う。表示部３３０は、各種情報をユーザーに表示するディスプレイ等であり、操作部３４０は、ユーザーからの入力操作を受け付けるボタン等である。なお、表示部３３０及び操作部３４０は、例えばタッチパネルにより一体的に構成してもよい。

記憶部３６０は、データやプログラムなどの各種の情報を記憶する。処理部３１０や通信部３２０は、例えば記憶部３６０をワーク領域として動作する。記憶部３６０は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリーであってもよいし、レジスターであってもよいし、ハードディスク装置（ＨＤＤ：Hard Disk Drive）などの磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。

図３は、電子機器４００の構成の一例を示すブロック図である。なお、図３は、印刷機能を有する電子機器４００を示しており、以下の説明においても、電子機器４００がプリンターである例について説明する。電子機器４００は、処理部４１０、通信部４２０、表示部４３０、操作部４４０、印刷部４５０、記憶部４６０を含む。

処理部４１０は、通信部４２０、表示部４３０、操作部４４０、印刷部４５０、記憶部４６０の制御を行う。例えば処理部４１０は、メインＣＰＵ、サブＣＰＵなどの複数のＣＰＵや、ＭＰＵ（Micro-processing unit）を含むことができる。メインＣＰＵは、電子機器４００の各部の制御や全体的な制御を行う。サブＣＰＵは、例えば電子機器４００がプリンターである場合には、印刷についての各種の処理を行う。

通信部４２０は、無線通信チップ等の通信インターフェースであり、端末装置３００を含む他の機器との通信を行う。表示部４３０は、各種情報をユーザーに表示するディスプレイ等で構成され、操作部４４０は、ユーザーからの入力操作を受け付けるボタン等で構成される。なお、表示部４３０及び操作部４４０は、例えばタッチパネルにより一体的に構成してもよい。

印刷部４５０は、印刷エンジンを含む。印刷エンジンとは、印刷媒体への画像の印刷を実行する機械的構成である。印刷エンジンは、例えば搬送機構やインクジェット方式の吐出ヘッド、当該吐出ヘッドを含むキャリッジの駆動機構等を含む。印刷エンジンは、搬送機構により搬送される印刷媒体に対して、吐出ヘッドからインクを吐出することで、印刷媒体に画像を印刷する。以下では、印刷媒体が紙である例について説明するが、布等の他の印刷媒体が用いられてもよい。なお、印刷エンジンの具体的構成はここで例示したものに限られず、電子写真方式でトナーにより印刷するものでもよい。

記憶部４６０は、データやプログラムなどの各種の情報を記憶する。処理部４１０や通信部４２０は例えば記憶部４６０をワーク領域として動作する。記憶部４６０は、半導体メモリーであってもよいし、レジスターであってもよいし、磁気記憶装置であってもよいし、光学式記憶装置であってもよい。

従来、端末装置３００においてユーザー操作を受け付けることによって、電子機器４００の印刷部４５０に印刷を実行させる手法が広く知られている。具体的な操作について、図４〜図１０を用いて説明する。

図４は、例えばＰＣである端末装置３００の表示部３３０に表示される画面の例である。図４の画面は、例えばＰＣ上で動作するアプリケーションにおいて、所与の画像情報の印刷を指示した場合に表示される印刷設定画面である。ここでの画像情報は特定の種類の画像に限定されず、文書、写真、地図等、種々のデータを用いることが可能である。

図４の印刷設定画面において、ユーザーは、種々の設定項目について、それぞれ設定値を決定する操作を行う。設定項目とは、具体的には用紙種類、印刷品質、カラー設定、給紙方法、用紙サイズである。図４の例では、設定値の初期値として、「普通紙」、「標準」、「カラー」、「自動給紙選択」、「Ａ４」が選択されている。図４の状態において印刷実行操作が行われた場合、端末装置３００は、普通紙を用いて、標準的な印刷品質によって、カラー印刷を行うことを電子機器４００に指示する。また端末装置３００は、自動選択された給紙トレイに載置された印刷媒体を用い、Ａ４サイズに対応するサイズによって印刷することを電子機器４００に指示する。なお、印刷実行操作とは、図４のＣ６に示すＯＫボタンの押下操作であってもよいし、ＯＫボタンの押下に加えて不図示の印刷ボタンを押下する操作であってもよい。

図５は、設定項目として用紙種類を選択する操作が行われた場合の、表示画面の例である。用紙種類の選択操作とは、例えば図４のＣ１に示す領域に対する操作である。この場合、用紙種類の設定値の候補として「普通紙」、「写真用紙」、「スーパーファイン紙」、「郵便ハガキ」、「封筒」の５つが表示される。

図６は、設定項目として印刷品質を選択する操作が行われた場合の、表示画面の例である。印刷品質の選択操作とは、例えば図４のＣ２に示す領域に対する操作である。この場合、印刷品質の設定値の候補として「標準」、「きれい」、「詳細設定」の３つが表示される。印刷品質とは、例えば印刷速度等を決定するための設定項目である。

図７は、設定項目としてカラー設定を選択する操作が行われた場合の、表示画面の例である。カラー設定の選択操作とは、例えば図４のＣ３に示す領域に対する操作である。この場合、カラー設定の設定値の候補として「カラー」、「グレースケール」の２つが表示される。

図８は、設定項目として給紙方法を選択する操作が行われた場合の、表示画面の例である。給紙方法の選択操作とは、例えば図４のＣ４に示す領域に対する操作である。この場合、給紙方法の設定値の候補として「自動給紙選択」、「上トレイ」、「下トレイ」の３つが表示される。給紙方法とは、電子機器４００において、印刷媒体の供給元となる給紙トレイを決定するための設定項目である。給紙トレイは、給紙カセットと言い換えてもよい。ここでは、複数の給紙トレイを有する電子機器４００を想定しているため、設定値には「上トレイ」、「下トレイ」というそれぞれ異なるトレイを指定可能な値が含まれる。

図９は、設定項目として用紙サイズを選択する操作が行われた場合の、表示画面の例である。用紙サイズの選択操作とは、例えば図４のＣ５に示す領域に対する操作である。この場合、用紙サイズの設定値の候補として「Ａ４」、「Ｂ５」、「Ａ５」、「Ａ６」、「ハガキ」の５つが表示される。

また図１０は、例えばスマートフォン等の携帯端末装置である端末装置３００の表示部３３０に表示される画面の遷移例である。図１０のＤ１は、例えば印刷アプリケーションソフトウェアのホーム画面の例である。ホーム画面において、Ｄ１１に示した写真ボタンに対する操作が行われることによって、表示画面はＤ２に示す画像選択画面へ遷移する。画像選択画面において、いずれかの画像を選択する操作が行われることによって、表示画面はＤ３に示すプレビュー画面へ遷移する。ここでは、Ｄ２１に示す画像が選択された例を示しており、選択された画像がＤ３２に示す領域に表示される。

プレビュー画面において、Ｄ３１に示す設定ボタンに対する操作が行われることによって、表示画面はＤ４に示す印刷設定画面に遷移する。印刷設定画面は、印刷を実行するプリンターとして選択中のプリンターを特定する情報と、当該プリンターにおける設定項目、及び現在の設定値を表示する画面である。設定項目については、図４〜図９に示した例と同様である。

印刷設定画面において、特定の設定項目を選択する操作が行われることによって、表示画面は設定値選択画面に遷移する。例えば、Ｄ４１に示す用紙サイズを選択する操作が行われることによって、表示画面はＤ５に示す用紙サイズ選択画面に遷移する。用紙サイズ選択画面において、いずれかの設定値が選択された場合、用紙サイズの設定値が選択された値に変更される。また表示画面は、Ｄ４に示す印刷設定画面に遷移する。

各設定項目について所望の設定値の選択が行われた場合、ユーザーは印刷設定画面において、Ｄ４２に示す完了ボタンを押下する。完了ボタンに対する操作が行われることによって、表示画面はＤ３に示すプレビュー画面に遷移する。プレビュー画面において印刷実行操作が行われた場合、端末装置３００は、現在の設定値を用いた印刷を電子機器４００に指示する。印刷実行操作とは、Ｄ３３に示す印刷ボタンに対する操作である。

図４〜図１０に示したとおり、印刷に関して種々の設定項目が存在し、各設定項目について、複数の設定値が存在する。設定項目の種類や、各設定項目について選択可能な設定値については、電子機器４００の具体的な構成に応じて異なる。例えば、モノクロ印刷専用のプリンターにおいては、カラー設定という設定項目についての設定値は、「グレースケール」に固定される。また大型のプリンターにおいては、「Ａ２」や「Ａ３」等の大判の印刷が可能であるため、それらが用紙サイズの設定値として選択可能になる。

ユーザーが所望の印刷を行うためには、種々の設定項目について、変更が必要な設定項目を選択する操作、当該設定項目の複数の設定値のなかから適切な値を選択する操作、等を行う必要があった。また、この操作は印刷データを選択するごとに行う必要があり、ユーザー負担が大きい。

また、以上では電子機器４００とは異なる端末装置３００において、画像情報の印刷に関する操作を行う例について説明した。しかし印刷に関する操作のユーザー負担が大きいという課題は、印刷装置である電子機器４００においてユーザー操作を受け付ける場合についても同様である。

図１１は、電子機器４００の表示部４３０に表示される画面の例である。図１１において、Ｅ１に示す印刷ボタンに対する操作が行われた場合、例えば図１０のＤ２と同様に、印刷対象となる画像を選択する画面に遷移する。選択対象となるデータは、電子機器４００の記憶部４６０に記憶されたデータであってもよいし、通信部４２０を用いて通信可能な他の装置に記憶されたデータであってもよい。それ以降の画面遷移については、図１０の例と同様であるため詳細な説明は省略する。

特許文献１には、機械学習によって予測モデルを作成する手法、及び、当該予測モデルとユーザーアクションに基づいて、ユーザーが利用しようとする機能を予測する手法が開示されている。しかし特許文献１においては、画像情報が考慮されていない。プリンター等の画像情報を処理対象とする機器においては、画像情報に応じて、望ましい操作の傾向が異なると考えられる。例えば文書画像であれば、印刷品質を「標準」に設定し、印刷用紙を「普通紙」に設定し、カラー設定を「グレースケール」に設定する操作を行うことによって、コスト低減を図ることが有効である。一方、写真等の画像であれば、印刷品質を「きれい」に設定し、印刷用紙を「写真用紙」に設定し、カラー設定を「カラー」に設定する操作を行うことによって、高精細な印刷を実現することが有効である。また、同じ写真であっても、子供の写真は高価な用紙を用いて高精細に印刷するのに対して、子供以外の写真は品質を抑えるといったケースも考えられる。即ち、画像情報の種類は細分化される可能性があるし、いずれの種類の画像情報に関してどのような操作が行われるかについて、ユーザーの嗜好が関係する場合もある。特許文献１の手法では、このような画像情報に応じた差異を考慮しておらず、精度の高い予測が難しい。

よって本実施形態においては、画像情報と、当該画像情報に関するユーザー操作との関係を機械学習する。このようにすれば、画像情報に関して推奨されるユーザー操作を精度よく推定することが可能になる。例えば、推定したユーザー操作を提示することによって、ユーザー負担の軽減が可能である。

図１２及び図１３は、学習装置１００及び情報処理装置２００と、端末装置３００及び電子機器４００との関係を例示する図である。学習装置１００は学習処理を行い、情報処理装置２００は推論処理を行う。学習処理とは、訓練データに基づく機械学習を行うことによって、学習結果を取得する処理である。学習結果とは、具体的には学習済モデルである。推論処理とは、学習処理によって生成された学習済モデルを用いて、入力に基づく何らかの推論結果を出力する処理である。

図１２及び図１３は、図４〜図１０を用いて上述したように、端末装置３００においてユーザー操作の受け付けが行われることを想定した図である。情報処理装置２００は、印刷対象となる画像情報が決定された場合に、推奨される操作を決定する。決定された操作は、例えば図２０〜図２２を用いて後述するように、ユーザー操作を行う機器においてユーザーに提示される。提示処理を円滑に行うことを考慮すれば、情報処理装置２００はユーザー操作を受け付ける端末装置３００に含まれることが望ましい。

学習装置１００は、図１２に示すとおり端末装置３００に含まれてもよいし、図１３に示すとおり電子機器４００に含まれてもよい。端末装置３００は、所与の画像情報に関して電子機器４００に対する印刷指示を行った場合に、画像情報と、ユーザーが実際に行った操作を表す操作情報とを対応付けたデータセットを取得可能である。図１２の例であれば、学習装置１００は、端末装置３００において取得されたデータセットを用いて学習を行う。図１３の例であれば、学習装置１００は、通信部４２０を用いた通信によって端末装置３００から上記データセットを取得した後、当該データセットを用いて学習を行う。学習処理は、後述するように多数のデータセットに基づいて重み付け係数情報を決定する処理であるため、推論処理に比べて負荷が大きい。例えば端末装置３００に比べて電子機器４００の処理能力が高い場合、図１３に示した構成を用いることによって効率的に学習処理を行うことが可能である。また、学習装置１００は、端末装置３００及び電子機器４００のいずれとも異なる機器に含まれてもよい。例えば学習装置１００は、端末装置３００と接続される不図示のサーバーシステムに含まれてもよい。

図１１を用いて上述したように、電子機器４００においてユーザー操作の受け付けが行われる場合、情報処理装置２００は電子機器４００に含まれることが望ましい。この場合、学習装置１００は、端末装置３００に含まれてもよいし、電子機器４００に含まれてもよいし、サーバーシステム等の他の機器に含まれてもよい。

また以上では、情報処理装置２００は、画像情報に関するユーザー操作を受け付ける機器に含まれる例を説明した。ただし情報処理装置２００がサーバーシステム等の他の機器に含まれることも妨げられない。例えば端末装置３００がユーザー操作を受け付ける場合、端末装置３００は、印刷対象として選択された画像情報等、推論処理に必要な情報をサーバーシステムに送信する。サーバーシステムは、学習済モデルに基づく推論処理を行い、推論結果を端末装置３００に返信する。端末装置３００は、受信した推論結果をユーザーに提示する処理を行う。以上のように、学習装置１００及び情報処理装置２００は、種々の態様によって実現することが可能である。

２．学習処理
２．１ 学習装置の構成例
図１４は、本実施形態の学習装置１００の構成例を示す図である。学習装置１００は、学習に用いられる訓練データを取得する取得部１１０と、当該訓練データに基づいて機械学習を行う学習部１２０を含む。

取得部１１０は、例えば訓練データを他の装置から取得する通信インターフェースである。或いは取得部１１０は、学習装置１００が保持する訓練データを取得してもよい。例えば、学習装置１００は不図示の記憶部を含み、取得部１１０は当該記憶部から訓練データを読み出すためのインターフェースである。本実施形態における学習は、例えば教師あり学習である。教師あり学習における訓練データは、入力データと正解ラベルとを対応付けたデータセットである。

学習部１２０は、取得部１１０が取得した訓練データに基づく機械学習を行い、学習済モデルを生成する。なお、本実施形態の学習部１２０は、下記のハードウェアにより構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ等である。１又は複数の回路素子は例えば抵抗、キャパシター等である。

また学習部１２０は、下記のプロセッサーにより実現されてもよい。本実施形態の学習装置１００は、情報を記憶するメモリーと、メモリーに記憶された情報に基づいて動作するプロセッサーと、を含む。情報は、例えばプログラムと各種のデータ等である。プロセッサーは、ハードウェアを含む。プロセッサーは、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等、各種のプロセッサーを用いることが可能である。メモリーは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリーであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリーはコンピューターにより読み取り可能な命令を格納しており、当該命令がプロセッサーにより実行されることで、学習装置１００の各部の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサーのハードウェア回路に対して動作を指示する命令であってもよい。

より具体的には、取得部１１０は、画像情報と、画像情報に関するユーザー操作を表す操作情報と、を取得する。学習部１２０は、画像情報と前作情報とを対応付けたデータセットに基づき、画像情報と操作情報の関係を機械学習する。このようにすれば、ユーザー操作の対象となる画像情報に基づいて、推奨されるユーザー操作を精度よく推定することが可能になる。例えば、画像情報の選択操作から、当該画像情報の印刷実行操作の間において、ユーザーが実行を望むであろう操作を、逐次、提示することが可能になる。

図１４に示す学習装置１００は、例えば図１２に示したとおり、端末装置３００に含まれてもよい。この場合、学習部１２０は、端末装置３００の処理部３１０に対応する。取得部１１０は、端末装置３００の通信部３２０、或いはその他のインターフェースに対応する。或いは学習装置１００は、図１３に示したとおり、電子機器４００に含まれてもよい。この場合、学習部１２０は、電子機器４００の処理部４１０に対応する。取得部１１０は、電子機器４００の通信部４２０、或いはその他のインターフェースに対応する。

２．２ ニューラルネットワーク
機械学習の具体例として、ニューラルネットワークを用いた機械学習について説明する。図１５は、ニューラルネットワークの基本的な構造例である。ニューラルネットワークは、脳機能を計算機上でシミュレーションする数学モデルである。図１５の１つの円をノード又はニューロンと呼ぶ。図１５の例では、ニューラルネットワークは、入力層と、２つの中間層と、出力層を有する。入力層がＩであり、中間層がＨ１及びＨ２であり、出力層がＯである。また図１５の例においては、入力層のニューロン数が３、中間層のニューロン数がそれぞれ４、出力層のニューロン数が１である。ただし、中間層の層数や、各層に含まれるニューロンの数は種々の変形実施が可能である。入力層に含まれるニューロンは、それぞれ第１中間層であるＨ１のニューロンと結合される。第１中間層に含まれるニューロンはそれぞれ第２中間層であるＨ２のニューロンと結合され、第２中間層に含まれるニューロンはそれぞれ出力層のニューロンと結合される。なお中間層は隠れ層と言い換えてもよい。

入力層は、それぞれ入力値を出力するニューロンである。図１５の例では、ニューラルネットワークはｘ１，ｘ２，ｘ３を入力として受け付け、入力層の各ニューロンは、それぞれｘ１，ｘ２，ｘ３を出力する。なお、入力値に対して何らかの前処理を行い、入力層の各ニューロンは、前処理後の値を出力してもよい。

中間層以降の各ニューロンでは、脳の中で電気信号として情報が伝達される様子を模した演算が行われる。脳では、シナプスの結合強度に応じて情報の伝わりやすさが変わるため、ニューラルネットワークでは当該結合強度を重みＷで表現する。図１５のＷ１は、入力層と第１中間層の間の重みである。Ｗ１は入力層に含まれる所与のニューロンと、第１中間層に含まれる所与のニューロンとの間の重みの集合を表す。入力層のｐ番目のニューロン数と、第１中間層のｑ番目のニューロンの間の重みをｗ^１ _ｐｑと表現した場合、図１５のＷ１は、ｗ^１ _１１〜ｗ^１ _３４の１２個の重みを含む情報である。より広義には、重みＷ１は、入力層のニューロン数と第１中間層のニューロン数の積だけの個数の重みからなる情報である。

第１中間層のうち、１番目のニューロンでは、下式（１）に示した演算が行われる。１つのニューロンでは、当該ニューロンに接続される１つ前の層の各ニューロンの出力を積和し、さらにバイアスを加算する演算を行う。下式（１）におけるバイアスはｂ１である。

また、上式（１）に示したように、１つのニューロンでの演算では、非線形関数である活性化関数ｆが用いられる。活性化関数ｆは、例えば下式（２）に示すＲｅＬＵ関数が用いられる。ＲｅＬＵ関数は、変数が０以下であれば０であり、０より大きければ変数自体の値となる関数である。ただし、活性化関数ｆは種々の関数を利用可能であることが知られており、シグモイド関数を用いてもよいし、ＲｅＬＵ関数を改良した関数を用いてもよい。上式（１）では、ｈ１についての演算式を例示したが、１つめの中間層の他のニューロンでも同様の演算を行えばよい。

また、これ以降の層についても同様である。例えば、第１中間層と第２中間層の間の重みをＷ２とした場合、第２中間層のニューロンでは、第１中間層の出力と重みＷ２を用いた積和演算を行い、バイアスを加算し、活性化関数を適用する演算を行う。出力層のニューロンでは、その１つ前の層の出力を重み付け加算し、バイアスを加算する演算を行う。図１５の例であれば、出力層の１つ前の層とは、第２中間層である。ニューラルネットワークは、出力層での演算結果を、当該ニューラルネットワークの出力とする。

以上の説明からわかるように、入力から所望の出力を得るためには、適切な重みとバイアスを設定する必要がある。なお、以下では重みを重み付け係数とも表記する。また重み付け係数にはバイアスが含まれてもよいものとする。学習では、所与の入力ｘと、当該入力での正しい出力とを対応付けたデータセットを用意しておく。正しい出力は正解ラベルである。ニューラルネットワークの学習処理とは、当該データセットに基づいて、最も確からしい重み付け係数を求める処理と考えることが可能である。なお、ニューラルネットワークの学習処理では、誤差逆伝播法（Backpropagation）等の学習手法が種々知られている。本実施形態においては、それらの学習手法を広く適用可能であるため、詳細な説明は省略する。

また、ニューラルネットワークは、図１５に示した構成には限定されない。例えば本実施形態の学習処理、及び後述する推論処理において、広く知られている畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）が用いられてもよい。ＣＮＮは、畳み込み層及びプーリング層を有する。畳み込み層は、畳み込み演算を行う。ここでの畳み込み演算とは、具体的にはフィルター処理である。プーリング層は、データの縦横のサイズを縮小する処理を行う。ＣＮＮは、例えば画像情報が入力される場合において、所与の画素と、その周辺の画素との関係を考慮した処理が可能である。ＣＮＮにおいては、誤差逆伝播法等を用いた学習処理を行うことによって、畳み込み演算に用いられるフィルターの特性が学習される。即ち、ニューラルネットワークにおける重み付け係数には、ＣＮＮにおけるフィルター特性が含まれる。

なお、以上では学習済モデルがニューラルネットワークを用いたモデルである例について説明した。しかし本実施形態における機械学習はニューラルネットワークを用いる手法に限定されない。例えば本実施形態の手法には、ＳＶＭ（support vector machine）等、広く知られた種々の方式の機械学習、或いはそれらの方式を発展させた方式の機械学習を適用することが可能である。

２．３ 訓練データの例と学習処理の詳細
図１６は、ユーザー操作を受け付ける機器において取得される観測データと、学習装置１００における学習処理に用いられる訓練データを説明する図である。以下、説明を簡略化するため、学習装置１００が観測データ自体を取得する例について説明する。ただし図１２及び図１３を用いて上述したとおり、具体的な構成は種々の変形実施が可能であり，他の装置において取得された観測データに対して、何らかの前処理が行われた結果を学習装置１００が取得することも妨げられない。

図４〜図１０を用いて上述したように、ユーザーはまず画像情報を選択する画像選択操作を行う。なお、文書作成アプリケーションや画像編集アプリケーション等においては、印刷開始操作を行うことによって、現在作業中のデータが印刷対象として選択される。本実施形態における画像選択操作とは、このような印刷開始操作を含む。

その後、ユーザーは画像情報に関する種々の操作を行い、最後に、画像情報に関する処理を完了するための操作を行う。画像情報が印刷対象となる印刷データである場合、画像情報に関する処理とは印刷処理であり、処理を完了するための操作とは印刷実行操作である。また、画像情報に関する種々の操作には、設定項目の選択操作、及び設定値の選択操作が含まれる。

図１６に示すように、ユーザー操作を受け付ける機器は、画像情報と、当該画像情報に対して行われた一連の操作を表す操作情報とを対応付けた観測データを取得する。ここでの操作情報はユーザー操作を特定するための情報である。例えば操作情報は、画像情報に関して実行可能な操作のそれぞれに割り当てられた操作ＩＤである。操作ＩＤは、ユーザー操作を一意に特定可能な情報であり、操作が異なれば操作ＩＤも異なる。

例えば、ユーザーが以下の一連の操作を行った場合を考える。なお学習装置１００は、例えば処理対象とする画像情報が同一であるか否かに基づいて、各操作が一連の操作であるか否かを判定する。或いは学習装置１００は、画像選択操作を始点とし、印刷実行操作を終点とする範囲に含まれる操作を、一連の操作と判定してもよい。
（１）画像選択操作
（２）設定項目として用紙サイズを選択する操作
（３）用紙サイズの設定値として「Ａ５」を選択する操作
（４）設定項目としてカラー設定を選択する操作
（５）カラー設定の設定値として「グレースケール」を選択する操作
（６）印刷実行操作

この場合、上記（１）において選択された画像情報と、上記（２）〜（６）の操作を表す５つの操作ＩＤと、が対応付けられた観測データが取得される。なお、本実施形態の手法は、画像情報の特定後に、当該画像情報に関して推奨される操作を推定するものである。即ち、画像選択操作をユーザーに推奨する必要性が低いため、（１）の操作を表す操作ＩＤは学習処理において省略可能である。また、ここでは操作の順序も考慮して、５つの操作ＩＤは、上記（２）〜（６）の順に時系列に並べられているものとする。図１６に対応付ければ、操作情報１が上記（２）の操作を表す操作ＩＤであり、操作情報２が上記（３）の操作を表す操作ＩＤである。以下同様に、操作情報３〜ｎ（ｎ＝５）が、それぞれ上記（４）〜（６）の操作を表す操作ＩＤである。

本実施形態の学習装置１００は、例えば、画像情報と、当該画像情報に対してすでに行われた時系列のユーザー操作とに基づいて、ユーザーに対して推奨される次の１つの操作を推定する条件を機械学習する。

例えば上記（１）の画像選択操作が行われた段階に着目した場合、学習装置１００は、（２）の用紙サイズを選択する設定項目選択操作を推奨するような学習処理を行う。また（２）の操作が行われた段階に着目した場合、学習装置１００は、（３）の「Ａ５」を選択する設定値選択操作を推奨するような学習処理を行う。これ以降についても同様である。

学習処理に用いられる訓練データの具体例を図１６に示す。学習処理に用いられる訓練データは、訓練データ１〜訓練データｎ（ｎは例えば２以上の整数）を含む。各訓練データは、画像情報と、先頭からｉ（ｉは０以上ｎ−１以下の整数）個の操作情報を入力とし、操作情報ｉ＋１を正解ラベルとするデータである。

図１７は、本実施形態におけるニューラルネットワークのモデルを示す一例である。ニューラルネットワークは、画像情報を入力として受け付けて第１中間データを出力するＣＮＮと、操作情報を入力として受け付けて第２中間データを出力するＮＮ１と、第１中間データ及び第２中間データを入力として受け付けて、出力データを出力するＮＮ２とを含む。なおＮＮ１は、ｐ（ｐは２以上の整数）個の操作情報を入力として受け付ける固定長入力のニューラルネットワークであってもよい。例えば入力となる操作情報がｑ（ｑは０≦ｑ＜ｐの整数）個である場合、ＮＮ１の入力は、当該ｑ個の操作情報と、ｐ−ｑ個のＮＵＬＬデータとなる。或いは、ＮＮ１は可変長入力のニューラルネットワークであってもよい。例えば、ＮＮ１は、可変長の時系列データを入力として利用可能なＲＮＮ（Recurrent Neural Network）、或いはＲＮＮを発展させた形式のニューラルネットワークであってもよい。ＲＮＮについては公知であるため詳細な説明は省略する。

ＮＮ２は、ＣＮＮとＮＮ１からの中間データに基づいて出力データを出力する。ＮＮ２は、例えば全結合層とソフトマックス層を含むニューラルネットワークである。全結合層は、所与の層の各ノードが次の層の全てのノードと接続される態様を表す。ソフトマックス層とは、公知のソフトマックス関数を用いた演算を行う層である。出力データは、例えばソフトマックス層の出力であり、想定される全ての操作に対応する数の確率データを出力する。例えば、画像情報に関するユーザー操作としてｍ通りの操作が存在し、各操作に対してそれぞれ操作ＩＤ１〜操作ＩＤｍが割り振られた場合を考える。この場合、出力データは、合計が１となるｍ個の確率データである。ｍ個の確率データは、それぞれ操作ＩＤ１〜操作ＩＤｍに対応する操作を推奨する確率を表す。

例えば図１６の訓練データ１に基づく学習処理は以下の流れに従って行われる。まず学習部１２０は、ニューラルネットワークに入力データを入力し、そのときの重みを用いて順方向の演算を行うことによって、出力データを取得する。訓練データ１を用いる場合、入力データは画像情報である。順方向の演算によって求められる出力データは、上述したように、操作ＩＤ１〜操作ＩＤｍのそれぞれに対応するｍ個の確率データである。

学習部１２０は、求められた出力データと、正解ラベルとに基づいて誤差関数を演算する。例えば図１６の訓練データ１を用いた場合、正解ラベルは操作情報１である。より具体的には、正解ラベルは、操作情報１に対応する操作ＩＤを推奨する確率データが１となり、他のｍ−１個の確率データが０となる情報である。学習部１２０は、順方向の演算によって求められたｍ個の確率データと、正解ラベルに対応するｍ個の確率データとの相違度を誤差関数として算出し、誤差が小さくなる方向に重み付け係数情報を更新する。なお誤差関数は種々の形式が知られており、本実施形態においてはそれらを広く適用可能である。また重み付け係数情報の更新は例えば誤差逆伝播法を用いて行われるが、他の手法を用いてもよい。

以上が１つの訓練データに基づく学習処理の概要である。学習処理においては、他の訓練データについても同様の処理を繰り返すことによって、適切な重み付け係数情報を学習する。なお、学習処理においては、訓練データの数を増やすことによって精度が向上することが知られている。図１６においては１つの観測データを例示したが、多数の観測データを取得することによって、多数の訓練データを用意することが望ましい。例えば学習部１２０は、取得されたデータの一部を訓練データとし、残りをテストデータとする。テストデータは、評価データ、検証データと言い換えてもよい。そして学習部１２０は、訓練データによって生成された学習済モデルに対してテストデータを適用し、正解率が所定閾値以上となるまで学習を行う。

以上のように、学習部１２０は、機械学習によって学習済モデルを生成する。学習済モデルは、画像情報に関して推奨される操作を判定するための学習済モデルである。学習済モデルは、入力層と中間層と出力層とを有し、画像情報と操作情報とを対応づけたデータセットに基づき、重み付け係数情報が設定されている。重み付け係数情報は、入力層と中間層との間の第１重み付け係数、及び中間層と出力層との間の第２重み付け係数を含む。重み付け係数情報は、所与の中間層と、次の中間層との間の重み付け係数を含んでもよい。各重み付け係数は、上述したように畳み込み演算に用いられるフィルター特性を含む。学習済モデルは、入力として受け付けた画像情報のデータを入力層に入力し、設定された重み付け係数情報に基づく演算を行い、出力層から、画像情報に関して推奨される操作を表す推奨操作情報を出力するよう、コンピューターを機能させる。この学習済モデルは、後述するように、情報処理装置２００の記憶部２３０に記憶される。また、本実施形態の手法は、学習済モデルに適用されてもよい。

３．推論処理
３．１ 情報処理装置の構成例
図１８は、本実施形態の推論装置の構成例を示す図である。推論装置は、情報処理装置２００である。情報処理装置２００は、受付部２１０と、処理部２２０と、記憶部２３０を含む。

記憶部２３０は、画像情報と、当該画像情報に関するユーザー操作を表す操作情報とを対応付けたデータセットに基づき、画像情報と操作情報との関係を機械学習した学習済モデルを記憶する。受付部２１０は、画像情報を入力として受け付ける。処理部２２０は、学習済モデルに基づいて、入力として受け付けた画像情報に関して推奨される操作を表す推奨操作情報を決定する。

このようにすれば、ユーザーに推奨すべき操作を、画像情報に対応付けて推定することが可能になる。上述したように、画像情報に関する操作を行う場合、推奨すべき操作は画像情報の内容に依存すると考えられる。画像情報を用いて推奨操作情報を求めることによって、適切な操作をユーザーに推奨することが可能になる。

なお学習済モデルは、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。処理部２２０は、記憶部２３０に記憶された学習済モデルからの指令に従って、入力である画像情報に関して推奨される操作を表すデータを出力する。

情報処理装置２００の処理部２２０は、学習装置１００の学習部１２０と同様に、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むハードウェアにより構成される。また処理部２２０は、下記のプロセッサーにより実現されてもよい。本実施形態の情報処理装置２００は、情報を記憶するメモリーと、メモリーに記憶された情報に基づいて動作するプロセッサーと、を含む。プロセッサーは、ＣＰＵ、ＧＰＵ、ＤＳＰ等、各種のプロセッサーを用いることが可能である。メモリーは、半導体メモリーであってもよいし、レジスターであってもよいし、磁気記憶装置であってもよいし、光学式記憶装置であってもよい。

なお、学習済モデルに従った処理部２２０おける演算、即ち、入力データに基づいて出力データを出力するための演算は、ソフトウェアによって実行されてもよいし、ハードウェアにより実行されてもよい。換言すれば、上式（１）等の積和演算、或いは、ＣＮＮにおけるフィルター演算は、ソフトウェア的に実行されてもよい。或いは上記演算は、ＦＰＧＡ（field-programmable gate array）等の回路装置によって実行されてもよい。また、上記演算は、ソフトウェアとハードウェアの組み合わせによって実行されてもよい。このように、記憶部２３０に記憶された学習済モデルからの指令に従った処理部２２０の動作は、種々の態様によって実現可能である。

図１８に示す情報処理装置２００は、例えば図１２に示したとおり、端末装置３００に含まれてもよい。この場合、処理部２２０は、端末装置３００の処理部３１０に対応する。受付部２１０は、端末装置３００の通信部３２０、或いはその他のインターフェースに対応する。記憶部２３０は、端末装置３００の記憶部３６０に対応する。或いは情報処理装置２００は、図１３に示したとおり、電子機器４００に含まれてもよい。この場合、処理部２２０は、電子機器４００の処理部４１０に対応する。受付部２１０は、電子機器４００の通信部４２０、或いはその他のインターフェースに対応する。記憶部２３０は、電子機器４００の記憶部４６０に対応する。

以上では、学習装置１００と情報処理装置２００を分けて説明した。しかし本実施形態の手法はこれに限定されない。例えば情報処理装置２００は、画像情報及び操作情報を取得する取得部１１０と、画像情報と操作情報とを対応付けたデータセットに基づき、画像情報と操作情報との関係を機械学習する学習部１２０を含んでもよい。換言すれば、情報処理装置２００は、図１８の構成に加えて、図１４に示した学習装置１００に対応する構成を含む。このようにすれば、学習処理と推論処理を同じ装置において効率的に実行することが可能になる。

３．２ 推論処理の流れ
図１９は、情報処理装置２００における処理を説明するフローチャートである。この処理が開始されると、まず受付部２１０は、ユーザー操作の受け付けを開始するとともに、画像選択操作によって選択された画像情報を受け付ける（Ｓ１０１）。

画像情報が取得されたら、処理部２２０は、当該画像情報と、記憶部２３０に記憶された学習済モデルとに基づいて、次のユーザー操作として推奨される操作を表す推奨操作情報を求める（Ｓ１０２）。初めてＳ１０２の処理が行われる場合、学習済モデルの入力は画像情報となる。処理部２２０は、例えばソフトマックス層の出力であるｍ通りの確率データに基づいて、推奨する確率が最も高い操作ＩＤを推奨操作情報として決定する。処理部２２０は、予測された推奨操作情報をユーザーに提示する処理を行う（Ｓ１０３）。Ｓ１０３の処理は、例えばユーザーによる操作を容易にするためのガイド表示を行う処理である。ガイド表示処理の具体例については、図２０〜図２２を用いて後述する。

その後、受付部２１０は、次のユーザー操作を受け付け（Ｓ１０４）、処理部２２０は、ユーザー操作が終了したか否かを判定する（Ｓ１０５）。例えば処理部２２０は、Ｓ１０４において受け付けたユーザー操作が印刷実行操作である場合に、ユーザー操作が終了したと判定する（Ｓ１０５でＹｅｓ）。Ｓ１０５でＹｅｓの場合、処理部２２０は、処理を終了する。

また、処理部２２０は、Ｓ１０４において受け付けたユーザー操作が印刷実行操作以外の操作である場合、ユーザー操作が終了していないと判定する（Ｓ１０５でＮｏ）。この場合、処理部２２０は、Ｓ１０２に戻り、Ｓ１０４において受け付けたユーザー操作の次の操作として推奨される操作を推定する。この場合、学習済モデルの入力は、画像情報と、Ｓ１０４において受け付けたユーザー操作を表す操作情報である。また、Ｓ１０２〜Ｓ１０５のループが複数回実行されている場合、学習済モデルの入力は、画像情報と、Ｓ１０４において受け付けた複数のユーザー操作を表す複数の操作情報である。なお、複数の操作情報が取得されている場合、処理部２２０は、その全ての操作情報を学習済モデルの入力としてもよいし、一部の操作情報を学習済モデルの入力としてもよい。例えば図１６に例示した訓練データに基づいて学習処理が行われた場合、推論処理においても全ての操作情報を学習済モデルの入力とすることが望ましい。

これ以降についても同様であり、情報処理装置２００は、ユーザー操作が終了したと判定されるまで、ユーザー操作の受け付け、及び、次の推奨操作情報の決定を繰り返す。以上のように、受付部２１０は、画像情報に関する第１操作情報を受け付け、処理部２２０は、画像情報と第１操作情報と学習済モデルに基づいて、第１操作情報の次の操作として推奨される操作を表す第２操作情報を、推奨操作情報として決定する。

このようにすれば、画像情報に関して何らかのユーザー操作が行われた場合、画像情報だけでなく、当該ユーザー操作も考慮した上で、推奨操作情報を決定することが可能になる。そのため、画像情報単体を用いる場合に比べて、推奨操作情報の推定精度を高くすることが可能になる。なお上述したように、学習済モデルの入力は直近の１つの操作情報に限定されず、処理対象としている画像情報に関して行われた複数の操作情報を含んでもよい。

操作情報によって表されるユーザー操作は、電子機器４００の設定に関する設定項目を選択する第１選択操作、及び設定項目における設定値を選択する第２選択操作を含む。このようにすれば、推論処理の入力である操作情報、及び出力である推奨操作情報の少なくとも一方として、設定項目又は設定値の選択操作を用いることが可能になる。例えば、設定項目又は設定値の選択操作が行われた場合に、それ以降の操作として推奨されるユーザー操作を推定することが可能である。或いは、画像情報を含む何らかの入力に基づいて、設定項目又は設定値の選択操作の実行を推奨することが可能である。図４〜図１０を用いて上述したように、画像情報に関する処理を行う際には、設定項目及び設定値の選択操作が必要となるケースが多い。また、１つの設定項目に対して複数の設定値が選択可能であるケースが通常であるし、設定項目自体が複数存在するケースも多い。即ち、設定項目及び設定値の選択操作を行うことによるユーザー負担が大きい。その点、本実施形態の手法においては、設定項目及び設定値の選択操作に関する機械学習が行われるため、ユーザー負担を効率的に軽減可能である。

また受付部２１０は、操作情報として設定項目を選択する第１選択操作を受け付け、処理部２２０は、画像情報と、第１選択操作を表す操作情報と、学習済モデルとに基づいて、設定項目において推奨される設定値を選択する第２選択操作を、推奨操作情報として決定してもよい。

上述したように、設定項目を選択する操作が行われた場合、続けて設定値を選択する操作が行われると考えられる。第１選択操作が入力された場合に、第２選択操作を推奨操作情報として決定することによって、ユーザーが望むであろう操作を適切に推奨することが可能になる。また、設定値の候補は複数存在すると考えられるため、従来手法であればユーザーは当該複数の候補を閲覧し、そのいずれの設定値が適切であるかを判定し、その後、設定値を選択する操作を行う必要がある。その点、第２選択操作を推奨操作情報として決定することによって、設定値を選択する際のユーザー負担を軽減可能である。

設定項目は、印刷レイアウト設定であり、設定値は、片面印刷か両面印刷かを決定する情報、及び、１枚の印刷媒体に印刷される画像数を決定する情報を含む。このようにすれば、片面印刷、両面印刷、割り付け印刷等のレイアウトに関する設定を行う際の、ユーザー負担を軽減できる。

また設定項目は、印刷用紙設定であり、設定値は、用紙サイズを決定する情報、及び、用紙種別を決定する情報を含む。印刷用紙設定とは、図４のＣ１に示した用紙種類、及びＣ５に示した用紙サイズに対応する。用紙種類の設定値は例えば図５に示した「普通紙」等であり、用紙サイズの設定値は例えば図９に示した「Ａ４」等である。このようにすれば、印刷用紙に関する設定を行う際のユーザー負担を軽減できる。

また設定項目は、カラーモノクロ設定であり、設定値は、カラー印刷かモノクロ印刷かを決定する情報を含む。これは図４のＣ３及び図７に対応する。なお、以上ではモノクロ印刷として、多階調データを用いるグレースケール印刷を例示したが、二値画像データを用いた白黒印刷が行われてもよい。このようにすれば、カラーに関する設定を行う際のユーザー負担を軽減できる。

図１９のＳ１０３に示したように、処理部２２０は、決定した推奨操作情報に基づいて、ユーザーに対するガイド表示処理を行う。このようにすれば、推奨される操作をユーザーにわかりやすい態様を用いて提示することが可能になる。

図２０〜図２２は、ガイド表示を行う表示画面の例である。以下、用紙サイズを選択する設定項目選択操作が行われた場合に、「Ａ５」を選択する設定値選択操作が次の推奨操作情報として決定された例について説明する。なお、用紙サイズの現在の設定値は、図４の例と同様に「Ａ４」であったとする。

図２０に示すとおり、処理部２２０は、推奨操作情報に対応する画面上の領域を強調する処理を行う。強調処理は、例えば「Ａ５」に対応する領域の背景色を変更する処理である。ただし強調処理はこれに限定されず、文字色を変更する処理であってもよいし、文字サイズ及び領域サイズの少なくとも一方を大きくする処理であってもよいし、文字又は領域を点滅させるアニメーション表示を行う処理であってもよい。なお、「Ａ４」については現在選択中の設定値であることを表すために背景色が変更されているものであり、本実施形態のガイド表示とは直接関係しない。このように推奨操作情報に対応する設定値の視認性を、他の設定値に比べて高くすることによって、ユーザーに対して推奨操作情報をわかりやすく提示することが可能になる。

また図２１に示すとおり、処理部２２０は、ポインターの位置を、推奨操作情報に対応する画面上の領域まで自動的に移動させる処理を行ってもよい。ここでのポインターは、例えばマウスカーソルである。図２１のＦ１が、用紙サイズを選択する設定項目選択操作を行った際のポインターの位置を表し、Ｆ２が移動後のポインターの位置を表す。Ｆ１からＦ２へのポインターの移動は、瞬間的に行われてもよいし、ユーザーにポインターが移動していることを明示するために１〜数秒程度の時間をかけて行われてもよい。ここではポインターが重畳している設定値が強調表示される例を示しているため、「Ａ５」に対応する領域の背景色が変更される。推奨操作情報に対応する操作を行う際に、ユーザーがポインターを移動させる必要がないため、ユーザー負担を軽減可能である。

また図２２は、スマートフォン等の携帯端末装置である端末装置３００の表示部３３０、或いは電子機器４００の表示部４３０におけるガイド表示の例である。図１０を用いて上述したとおり、Ｄ４１を選択する設定項目選択操作が行われることによって、Ｄ５に示した用紙サイズ選択画面への遷移が行われる。用紙サイズ選択画面においては、選択されている設定値を明示する表示が行われる。例えば、選択されている設定値の右側にチェックマークが表示される。例えば処理部２２０は、用紙サイズの設定値を「Ａ４」から「Ａ５」に変更する処理を行い、且つ、Ｇ１に示すチェックマークを消去する表示処理及びＧ２に示すチェックマークを付加する表示処理を行う。Ｇ１のマークの消去及びＧ２のマークの追加は、瞬間的に行われてもよい。或いは、設定値が変更されたことをユーザーに明示するために、処理部２２０は、Ｇ１のマークを徐々に薄くし、Ｇ２のマークを徐々に濃くする表示処理を行ってもよい。なお、推奨操作情報が誤っている場合、設定値がユーザーの意図とは異なる値に変更されてしまうおそれがある。よって図２２に示すように、設定値はＧ３に示すＯＫボタンの押下等、ユーザーの明示的な操作があった場合に変更されるものとしてもよい。例えば図２２の状態において、ＯＫボタンが押下されることなく、Ｇ４に示す戻るボタンが押下された場合、用紙サイズの設定値は変更前の「Ａ４」が維持される。

なお、図２０〜図２２においては、設定項目選択操作が行われた場合に、設定値選択操作を提示するためのガイド表示を行う例について説明した。ただし、本実施形態における推奨操作情報は、設定値選択操作に限定されない。例えば処理部２２０は、設定項目選択操作を提示するガイド表示処理を行ってもよい。例えば処理部２２０は、図４の画面において、いずれかの設定項目に対応する領域を強調するガイド表示を行う。このガイド表示は、例えば画像選択操作が行われることによって図４等の画面が表示された際に行われてもよいし、他の設定項目についての設定値選択操作が行われることによって、図４の画面に戻った際に行われてもよい。また、処理部２２０は、印刷実行操作を表す操作情報を、推奨操作情報として決定してもよい。この場合、処理部２２０は、図４のＣ６に示すＯＫボタンや、図１０のＤ３３に示す印刷ボタンを強調するガイド表示を行うことによって、ユーザーに印刷実行を促してもよい。また、画像情報に関する操作は、画像選択操作、設定項目選択操作、設定値選択操作、印刷実行操作のいずれとも異なる他の操作を含んでもよく、処理部２２０は、当該他の操作に関するガイド表示を行ってもよい。

４．変形例
４．１ 訓練データ等に関する変形例
図１６を用いて上述したように、以上では所与の画像情報に関して行われた時系列の操作情報を用いて、学習処理及び推論処理が行われる例を説明した。ただし、具体的な処理はこれに限定されない。上述した一連の操作の具体例を以下に再掲する。
（１）画像選択操作
（２）設定項目として用紙サイズを選択する操作
（３）用紙サイズの設定値として「Ａ５」を選択する操作
（４）設定項目としてカラー設定を選択する操作
（５）カラー設定の設定値として「グレースケール」を選択する操作
（６）印刷実行操作

この場合、上記（１）において選択された画像情報に対して、用紙サイズを「Ａ５」に変更する操作、及び、カラー設定を「グレースケール」に変更する操作の２組の操作が行われることが重要である。そのため、先にカラー設定を変更する操作が行われ、その後に用紙サイズを変更する操作が行われてもよい。

よって、学習部１２０は、観測データに含まれる一連の操作情報に対して、一部を抽出したり、順番を変更することによって、訓練データを生成してもよい。例えば上記の例であれば、操作情報１〜ｎ（ｎ＝５）は、実際の実行順序どおり（２）（３）（４）（５）（６）の順に並ぶものとして説明した。学習部１２０は、これを（４）（５）（２）（３）（６）の順に入れ替えた上で、訓練データの作成処理、及び学習処理を行ってもよい。広義には、設定項目選択操作と、当該設定項目についての設定値選択操作との関係が維持されるという条件を満たせば、順序は種々の入れ替えが可能である。

また、以上では所与の操作情報に基づいて、その次の操作として推奨される１つの推奨操作情報を推定する処理について説明した。ただし推定する推奨操作情報は１つに限定されず、処理部２２０は２以上の推奨操作情報を出力してもよい。例えば処理部２２０は、画像情報に基づいて、次の推奨操作情報を決定する。その後、処理部２２０は、画像情報と、決定した推奨操作情報を入力として学習済モデルに基づく推論処理を行うことによって、さらに次の推奨操作情報を決定する。以下同様であり、処理部２２０は、推定した推奨操作情報を新たな入力とすることによって、複数の推奨操作情報を出力可能である。或いは、ニューラルネットワーク自体の構成を変更し、１回の順方向演算によって、複数の推奨操作情報を出力可能としてもよい。

４．２ 追加学習
以上の説明においては、学習処理と推論処理を個別に説明した。例えば、学習段階において、あらかじめ訓練データを蓄積しておき、蓄積された訓練データに基づいて学習処理が行われる。学習段階においては、推奨操作情報を決定する処理は行われない。そして十分な量の訓練データが蓄積されたら、学習装置１００は上述した学習処理を行うことによって学習済モデルを生成する。推論段階においては、情報処理装置２００は生成された学習済モデルを継続的に使用することによって、推論処理を行う。この場合、一度生成された学習済モデルは固定であり、更新が想定されない。

ただし本実施形態の手法はこれに限定されず、推論処理の結果が学習処理にフィードバックされてもよい。図２３は、本変形例における処理を説明するフローチャートである。図２３のＳ２０１〜Ｓ２０４は図１９のＳ１０１〜Ｓ１０４と同様である。Ｓ２０４の後、処理部２２０は、Ｓ２０２において決定された推奨操作情報と、Ｓ２０４において受け付けたユーザー操作とを比較する処理を行う（Ｓ２０５）。

推奨操作情報とユーザー操作が一致しない場合（Ｓ２０５でＹｅｓ）、学習済モデルに基づく推論は誤っており、学習済モデルが適切でないと考えられる。よって学習装置１００の学習部１２０は、追加の学習処理を行うことによって、学習済モデルを更新する（Ｓ２０６）。例えば、Ｓ２０２において、処理部２２０は、画像情報と、ｒ個（ｒは０以上の整数）の操作情報とに基づいて、推奨操作情報を決定したとする。この場合、学習部１２０は、当該画像情報と、ｒ個の操作情報を入力とし、Ｓ２０４において受け付けたユーザー操作を表す操作情報を正解ラベルとする訓練データに基づいて、追加学習を行う。このようにすれば、ユーザーが実際に行った操作が、推奨操作情報として選択されやすくなるように学習済モデルを更新することが可能になる。

また推奨操作情報とユーザー操作が一致する場合（Ｓ２０５でＮｏ）、適切な学習済モデルが取得されていると考えられるため、学習処理は省略される。Ｓ２０５でＮｏの場合、又はＳ２０６の処理後、ユーザー操作が終了したか否かを判定する（Ｓ２０７）。Ｓ２０７の処理については、図１９のＳ１０５と同様である。ただし、推奨操作情報とユーザー操作が一致する場合に、追加学習が行われることは妨げられない。

追加学習が行われる場合、当該追加学習によって学習済モデルをユーザーの嗜好に合わせて更新していくことが可能である。そのため、推奨操作情報の推定精度を高くすることが可能である。また、推論段階において学習済モデルを更新可能であるため、初期学習に要求される学習精度は極端に高くない。初期学習とは、追加学習による更新が行われる前の初期学習済モデルを生成する学習処理である。そのため、初期学習における処理負荷の軽減が可能になる。

４．３ ユーザーＩＤ等
また以上では学習処理及び推論処理における入力として、画像情報及び操作情報が用いられる例について説明した。しかし入力はこれらに限定されず、他の情報が追加されてもよい。例えば、電子機器４００を家族の間で共有する場合、ユーザーによって印刷に関する嗜好が異なる場合がある。例えば、父親は写真を高画質で印刷しつつ、文書は低画質且つモノクロを用いて印刷する。また母親は文書を高画質で印刷し、息子は写真も文書も低画質で印刷する、といった傾向の違いが生じる。

学習済モデルは、画像情報と、操作情報と、ユーザーＩＤを対応付けたデータセットに基づき、機械学習されてもよい。ユーザーＩＤとは、ユーザーを一意に特定するための識別情報である。推論処理においては、画像情報と、操作情報に加えて、ユーザーＩＤが入力される。或いは、学習部１２０はユーザーごとに学習済モデルを生成しておき、処理部２２０はユーザーＩＤに基づいて使用する学習済モデルを切り替える処理を行ってもよい。

このようにすれば、同じ画像情報であってもユーザーごとに推奨操作情報を変更することが可能になる。即ち、ユーザーの嗜好を反映した精度の高い推論処理を行うことが可能になる。

或いは、電子機器４００において印刷処理が実行されるタイミングに応じて、画像情報に関する操作が異なる場合がある。例えば、平日は仕事用の画像情報が多いためモノクロ印刷が多用され、休日はプライベート用の画像情報が多いためカラー印刷が多用される、といった違いが考えられる。よって学習済モデルは、画像情報と、操作情報と、時間情報を対応付けたデータセットに基づき、機械学習されてもよい。時間情報は、年月日の情報であってもよいし、月日の情報であってもよいし、曜日の情報であってもよいし、時分の情報であってもよいし、複数の組み合わせであってもよい。このようにすれば、画像情報に加えて、時間に関する情報に基づいて推奨操作情報を変更することが可能になる。即ち、ユーザーの生活習慣等を反映した精度の高い推論処理を行うことが可能になる。

４．４ スキャナー
上述したように、電子機器４００はスキャン機能を有する複合機であってもよい。この場合、画像情報は、当該画像情報がスキャンによって取得されたスキャン画像情報であるか否かを表す情報を含む。スキャナーで読み取った画像情報を印刷するときに、実際の原稿サイズより大きく読み取られることによって、画像情報が不定形サイズであると認識されてしまうことがある。この場合、ユーザーは図９等の画面を用いて、その都度、正しい定型サイズを指定する必要がある。

本変形例においては、画像情報がスキャン画像情報であるか否かを表す情報がデータセットに含まれる。そのため、画像情報がスキャン画像である場合に、当該画像情報について指定すべき定型サイズが学習されると考えられる。よって情報処理装置２００の処理部２２０は、サイズが未知のスキャンデータが画像情報として取得された場合に、適切な定型サイズを選べるようユーザーを誘導することが可能になる。

また、画像情報がスキャン画像情報である場合に、学習済モデルは、画像情報と、操作情報と、スキャン画像である画像情報の保存先を対応付けたデータセットに基づき、機械学習されていてもよい。保存先とは、電子機器４００の記憶部４６０であってもよいし、端末装置３００の記憶部３６０であってもよいし、サーバーシステムの記憶部であってもよい。またＵＳＢ（Universal Serial Bus）メモリーやＳＤカード等の外部記憶媒体を接続可能な機器である場合、保存先として当該外部記憶媒体が選択されてもよい。また複数のＳＤカードが接続される場合、それぞれのＳＤカードを個体情報を用いて識別してもよい。各保存先は、記憶容量、通信速度、可搬性等が異なる。よって保存先に応じて、印刷設定に異なる傾向が表れる蓋然性が高い。例えば仕事用ＳＤカードとプレイベート用ＳＤカードを分けるユーザーの場合、仕事用ＳＤカードの画像情報は文書が多くモノクロ印刷が多用され、プレイベート用ＳＤカードの画像情報は写真が多くカラー印刷が多用される、といった違いが考えられる。よって画像情報の保存先を学習処理及び推論処理に用いることによって、推奨操作情報の推定精度を向上させることが可能になる。

また以上ではスキャン画像が印刷対象となる場合のユーザー操作について説明した。しかし本実施形態の手法はこれに限定されない。例えば、プレスキャンを行う電子機器４００を用いる場合、情報処理装置２００の処理部２２０は、プレスキャンによって取得された画像情報に基づいて、本スキャンを行う際のユーザー操作を推定してもよい。プレスキャンとは、原稿の概要を取得するために、本スキャンに先立って行われる画像読取り処理である。

スキャンにおける設定項目として、保存先、解像度、カラー設定等が考えられる。保存先の設定値は、上述したように「電子機器本体」、「ＳＤカード」等である。解像度の設定値は、「１５０ｄｐｉ（dots per inch）」、「３００ｄｐｉ」等である。カラー設定値は「カラー」、「グレースケール」、「白黒」等である。ここでの「白黒」は二値画像を表す。またスキャナーにおいて他の設定項目が用いられてもよい。

このようにスキャン処理においても、ユーザーが所望のスキャンを行うためには、種々の設定項目について、変更が必要な設定項目を選択する操作、当該設定項目の複数の設定値のなかから適切な値を選択する操作等を行う必要があった。また、この操作は原稿セットごとに行う必要があり、ユーザー負担が大きい。原稿セットは一連のスキャン処理の対象となる１又は複数枚の原稿である。

学習装置１００は、スキャン画像である画像情報と、当該画像情報に関する操作情報を対応付けたデータセットに基づいて機械学習を行う。情報処理装置２００は、原稿をプレスキャンすることによって取得されたスキャン画像である画像情報と、学習済モデルを用いることによって、当該原稿の読み取りにおいて推奨される操作をユーザーに提案する。このようにすれば、電子機器４００を用いたスキャン処理において、ユーザー負担を軽減することが可能になる。なお、ここでは各種操作が本スキャンの前に行われる例を考えたため、画像情報はプレスキャンの結果であるスキャン画像とした。ただし、スキャン処理後に実行可能な操作、例えば保存先の設定値を決定する操作等については、本スキャンの結果である画像情報を用いて推奨操作情報が提示されてもよい。

以上のように、本実施形態の情報処理装置は、記憶部と、受付部と、処理部を含む。記憶部は、画像情報と、画像情報に関するユーザー操作を表す操作情報とを対応付けたデータセットに基づき、画像情報と操作情報との関係を機械学習した学習済モデルを記憶する。受付部は、画像情報を入力として受け付ける。処理部は、学習済モデルに基づいて、入力として受け付けた画像情報に関して推奨される操作を表す推奨操作情報を決定する。

本実施形態の手法によれば、画像情報と、操作情報とを対応付けたデータセットに基づく機械学習によって生成された学習済モデルを用いて、入力として受け付けた画像情報に関して推奨される操作が決定される。学習処理及び推論処理において画像情報を用いるため、ユーザーに推奨すべき操作を精度よく推定することが可能になる。

また受付部は、画像情報に関する第１操作情報を受け付け、処理部は、画像情報と第１操作情報と学習済モデルに基づいて、第１操作情報の次の操作として推奨される操作を表す第２操作情報を、推奨操作情報として決定してもよい。

このようにすれば、画像情報と操作情報とに基づいて、次の操作として推奨される操作を逐次推定することが可能になる。

また操作情報によって表されるユーザー操作は、電子機器の設定に関する設定項目を選択する第１選択操作、及び設定項目における設定値を選択する第２選択操作を含んでもよい。

このようにすれば、設定項目の選択や、当該設定項目における設定値の選択を行う際のユーザー負担を軽減することが可能になる。

また受付部は、操作情報として設定項目を選択する第１選択操作を受け付け、処理部は、画像情報と、第１選択操作を表す操作情報と、学習済モデルとに基づいて、設定項目において推奨される設定値を選択する第２選択操作を、推奨操作情報として決定してもよい。

このようにすれば、設定項目における設定値の選択を行う際のユーザー負担を軽減することが可能になる。

また設定項目は、印刷レイアウト設定であり、設定値は、片面印刷か両面印刷かを決定する情報、及び、１枚の印刷媒体に印刷される画像数を決定する情報を含んでもよい。

このようにすれば、印刷レイアウトに関する設定操作を行う際のユーザー負担を軽減することが可能になる。

また設定項目は、印刷用紙設定であり、設定値は、用紙サイズを決定する情報、及び、用紙種別を決定する情報を含んでもよい。

このようにすれば、印刷用紙に関する設定操作を行う際のユーザー負担を軽減することが可能になる。

また設定項目は、カラーモノクロ設定であり、設定値は、カラー印刷かモノクロ印刷かを決定する情報を含んでもよい。

このようにすれば、カラー／モノクロに関する設定操作を行う際のユーザー負担を軽減することが可能になる。

また画像情報は、当該画像情報がスキャンによって取得されたスキャン画像情報であるか否かを表す情報を含んでもよい。

このようにすれば、処理対象の画像がスキャン画像であるか否かに応じて、適切な推奨操作情報を決定することが可能になる。

また画像情報は、スキャン画像情報であってもよい。学習済モデルは、画像情報と、操作情報と、スキャン画像情報である画像情報の保存先を対応付けたデータセットに基づき、機械学習されている。

このようにすれば、スキャン画像の保存先に応じて、適切な推奨操作情報を決定することが可能になる。

また学習済モデルは、画像情報と、操作情報と、ユーザーＩＤを対応付けたデータセットに基づき、機械学習されていてもよい。

このようにすれば、ユーザーごとの嗜好を考慮して、適切な推奨操作情報を決定することが可能になる。

また処理部は、決定した推奨操作情報に基づいて、ユーザーに対するガイド表示処理を行ってもよい。

このようにすれば、推奨操作情報に対応する操作の実行をユーザーに促すことが可能になる。

また情報処理装置は、画像情報及び操作情報を取得する取得部と、画像情報と操作情報とを対応付けたデータセットに基づき、画像情報と操作情報との関係を機械学習する学習部と、を含んでもよい。

このようにすれば、学習処理と推論処理を同じ装置において効率的に実行することが可能になる。

また学習済モデルは、入力層と中間層と出力層とを有し、画像情報と操作情報とを対応づけたデータセットに基づき、入力層と中間層との間の第１重み付け係数、及び中間層と出力層との間の第２重み付け係数を含む重み付け係数情報が設定されていてもよい。学習済モデルは、入力として受け付けた画像情報を入力層に入力し、設定された重み付け係数情報に基づく演算を行い、出力層から、推奨操作情報を出力するよう、コンピューターを機能させる。

このようにすれば、学習処理によって重み付け係数情報を学習することによって、推奨操作情報を適切に推定可能な学習済モデルを生成することが可能になる。より具体的には、ニューラルネットワークを用いた学習済モデルを生成することが可能になる。

また本実施形態の学習装置は、画像情報と、画像情報に関するユーザー操作を表す操作情報と、を取得する取得部と、画像情報と操作情報とを対応付けたデータセットに基づき、画像情報と操作情報の関係を機械学習する学習部と、を含む。

本実施形態の手法によれば、画像情報と、操作情報とを対応付けたデータセットに基づいて機械学習が行われる。このような機械学習を行うことによって、画像情報を用いた推奨操作情報の決定が可能になるため、ユーザーに推奨すべき操作を精度よく推定できる。

また本実施形態の学習済モデルは、画像情報に関して推奨される操作を判定するための学習済モデルである。学習済モデルは、入力層と中間層と出力層とを有し、画像情報と、画像情報に関するユーザー操作を表す操作情報とを対応付けたデータセットに基づき、入力層と中間層との間の第１重み付け係数及び中間層と出力層との間の第２重み付け係数を含む重み付け係数情報が設定されている。学習済モデルは、入力として受け付けた画像情報のデータを入力層に入力し、設定された重み付け係数情報に基づく演算を行い、出力層から、画像情報に関して推奨される操作を表す推奨操作情報を出力するよう、コンピューターを機能させる。

なお、上記のように本実施形態について詳細に説明したが、本実施形態の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また学習装置、情報処理装置、及びそれらの装置を含むシステムの構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１０…システム、１００…学習装置、１１０…取得部、１２０…学習部、２００…情報処理装置、２１０…受付部、２２０…処理部、２３０…記憶部、３００…端末装置、３１０…処理部、３２０…通信部、３３０…表示部、３４０…操作部、３６０…記憶部、４００…電子機器、４１０…処理部、４２０…通信部、４３０…表示部、４４０…操作部、４５０…印刷部、４６０…記憶部

Claims (13)

1. 画像情報と、前記画像情報に関するユーザー操作を表す操作情報とを対応付けたデータセットに基づき、前記画像情報と前記操作情報との関係を機械学習した学習済モデルを記憶する記憶部と、
   前記画像情報を入力として受け付ける受付部と、
   前記学習済モデルに基づいて、入力として受け付けた前記画像情報に関して推奨される操作を表す推奨操作情報を決定する処理部と、
   を含み、
   前記受付部は、
   前記画像情報に関する第１操作情報を受け付け、
   前記処理部は、
   前記画像情報と前記第１操作情報と前記学習済モデルに基づいて、前記第１操作情報の次の操作として推奨される操作を表す第２操作情報を、前記推奨操作情報として決定することを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記操作情報によって表される前記ユーザー操作は、電子機器の設定に関する設定項目を選択する第１選択操作、及び前記設定項目における設定値を選択する第２選択操作を含むことを特徴とする情報処理装置。
3. 請求項２に記載の情報処理装置において、
   前記受付部は、
   前記操作情報として前記設定項目を選択する前記第１選択操作を受け付け、
   前記処理部は、
   前記画像情報と、前記第１選択操作を表す前記操作情報と、前記学習済モデルとに基づいて、前記設定項目において推奨される前記設定値を選択する前記第２選択操作を、前記推奨操作情報として決定することを特徴とする情報処理装置。
4. 請求項２又は３に記載の情報処理装置において、
   前記設定項目は、印刷レイアウト設定であり、
   前記設定値は、片面印刷か両面印刷かを決定する情報、及び、１枚の印刷媒体に印刷される画像数を決定する情報を含むことを特徴とする情報処理装置。
5. 請求項２又は３に記載の情報処理装置において、
   前記設定項目は、印刷用紙設定であり、
   前記設定値は、用紙サイズを決定する情報、及び、用紙種別を決定する情報を含むことを特徴とする情報処理装置。
6. 請求項２又は３に記載の情報処理装置において、
   前記設定項目は、カラーモノクロ設定であり、
   前記設定値は、カラー印刷かモノクロ印刷かを決定する情報を含むことを特徴とする情報処理装置。
7. 請求項１乃至６のいずれか一項に記載の情報処理装置において、
   前記画像情報は、前記画像情報がスキャンによって取得されたスキャン画像情報であるか否かを表す情報を含むことを特徴とする情報処理装置。
8. 請求項７に記載の情報処理装置において、
   前記画像情報は、前記スキャン画像情報であり、
   前記学習済モデルは、
   前記画像情報と、前記操作情報と、前記スキャン画像情報である前記画像情報の保存先を対応付けたデータセットに基づき、機械学習されていることを特徴とする情報処理装置。
9. 請求項１乃至８のいずれか一項に記載の情報処理装置において、
   前記学習済モデルは、
   前記画像情報と、前記操作情報と、ユーザーＩＤを対応付けたデータセットに基づき、機械学習されていることを特徴とする情報処理装置。
10. 請求項１乃至９のいずれか一項に記載の情報処理装置において、
    前記処理部は、
    決定した前記推奨操作情報に基づいて、ユーザーに対するガイド表示処理を行うことを特徴とする情報処理装置。
11. 画像情報と、前記画像情報に関するユーザー操作を表す操作情報とを対応付けたデータセットに基づき、前記画像情報と前記操作情報との関係を機械学習した学習済モデルを記憶する記憶部と、
    前記画像情報を入力として受け付ける受付部と、
    前記学習済モデルに基づいて、入力として受け付けた前記画像情報に関して推奨される操作を表す推奨操作情報を決定する処理部と、
    前記画像情報及び前記操作情報を取得する取得部と、
    前記画像情報と前記操作情報とを対応付けた前記データセットに基づき、前記画像情報と前記操作情報との関係を機械学習する学習部と、
    を含むことを特徴とする情報処理装置。
12. 画像情報と、前記画像情報に関するユーザー操作を表す操作情報とを対応付けたデータセットに基づき、前記画像情報と前記操作情報との関係を機械学習した学習済モデルを記憶する記憶部と、
    前記画像情報を入力として受け付ける受付部と、
    前記学習済モデルに基づいて、入力として受け付けた前記画像情報に関して推奨される操作を表す推奨操作情報を決定する処理部と、
    を含み、
    前記学習済モデルは、
    入力層と中間層と出力層とを有し、
    前記画像情報と前記操作情報とを対応づけた前記データセットに基づき、前記入力層と前記中間層との間の第１重み付け係数、及び前記中間層と前記出力層との間の第２重み付け係数を含む重み付け係数情報が設定されており、
    入力として受け付けた前記画像情報を前記入力層に入力し、設定された前記重み付け係数情報に基づく演算を行い、前記出力層から、前記推奨操作情報を出力するよう、コンピューターを機能させることを特徴とする情報処理装置。
13. 入力として受け付けた画像情報に関して推奨される操作を表す推奨操作情報を出力するための学習済モデルを生成する学習装置であって、
    画像情報と、前記画像情報に関するユーザー操作を表す第１操作情報と、前記第１操作情報の次の操作を表す第２操作情報と、を取得する取得部と、
    前記画像情報と前記第１操作情報と前記第２操作情報とを対応付けたデータセットに基づき、前記画像情報および前記第１操作情報と、前記第２操作情報との関係を機械学習することにより、前記学習済モデルを生成する学習部と、
    を含むことを特徴とする学習装置。

Images