JP7314528B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置及びプログラムに関する。

例えば用紙その他の記録用の媒体に画像を形成する画像形成装置には、ユーザを支援する機能として、繰り返し用いる操作やパラメータの値をジョブメモリとして登録する機能が用意されている。ジョブメモリとして登録された設定は、ボタン一つで呼び出すことができる。また、ジョブメモリには、一連の操作の過程で表示される画面の階層なども記憶することができる。

特開２０１６－７６７４６号公報

ただし、ジョブメモリは、画面のどの部位が操作されたのかを記憶する機能であり、画面内のパラメータの内容がどのように変更されたのかは記憶されていない。また、ジョブメモリは、画像形成装置と不可分の関係にあり、別の画像形成装置への移行は想定されていない。このため、他の画像形成装置を使用する場合には、一連の操作を全て手動で行う必要がある。
ところが、多機能化に伴い、画像形成装置に用意されるユーザインタフェース用の画面の構成や内容も複雑化している。このため、設定したい項目を発見できない場合や発見までの時間が長くなる場合がある。また、同じメーカの製品でも、発売の時期や市場の違いによりユーザインタフェース画面の構成や内容が異なることがある。

本発明は、不慣れな操作画面から得られる情報だけを頼りに機器を操作する場合に比して、不慣れな機器の操作を容易にすることを目的とする。

請求項１に記載の発明は、操作を記録する対象として特定された第１の機器に対するユーザの操作に伴う操作画面の遷移を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する推定手段と、推定されたパラメータの内容を操作の記録として保存する保存手段とを有する情報処理装置である。
請求項２に記載の発明は、推定されたパラメータの内容を確認するための画面をユーザに提示する、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、推定されたパラメータの内容の変更を前記画面上で受け付ける、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、コンピュータに、操作を記録する対象として特定された第１の機器に対するユーザの操作に伴う操作画面の遷移を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、推定されたパラメータの内容を操作の記録として保存する機能とを実現させるためのプログラムである。
請求項５に記載の発明は、コンピュータに、操作を記録する対象として特定された第１の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、推定されたパラメータの内容を操作の記録として保存する機能と、を実現させるためのプログラムであり、前記推定する機能は、ユーザの操作を受け付ける画面に変化が現れた後の画像と変化が現れる前の画像との差分を抽出し、差分に対応するパラメータに基づいてユーザの操作を推定する、プログラムである。
請求項６に記載の発明は、差分が選択肢の表示の態様の変化、又は、選択肢の選択状態に関する表示の変化である場合、前記推定する機能は、選択状態に変化した選択肢の文字列をユーザが設定したパラメータの内容と推定する、請求項５に記載のプログラムである。
請求項７に記載の発明は、コンピュータに、操作を記録する対象として特定された第１の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、推定されたパラメータの内容を操作の記録として保存する機能と、保存されているパラメータの内容を、前記第１の機器とは異なる第２の機器に設定可能か否かを確認する機能の実行を受け付けた場合、確認の結果をユーザに提示する機能とを実現させるためのプログラムである。
請求項８に記載の発明は、前記設定の可否は、パラメータの内容毎に提示される、請求項７に記載のプログラムである。
請求項９に記載の発明は、コンピュータに、操作を記録する対象として特定された第１の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、推定されたパラメータの内容を操作の記録として保存する機能と、前記第１の機器とは異なる第２の機器の操作画面を通じ、パラメータの内容を設定するための操作を支援する機能の実行を受け付けた場合、パラメータの内容の設定を実現する操作を当該操作画面に応じて提示する機能とを実現させるためのプログラムである。
請求項１０に記載の発明は、パラメータの内容の設定を実現する操作の指示は、ユーザが装着する端末を通じて拡張現実又は複合現実として提示される、請求項９に記載のプログラムである。

請求項１記載の発明によれば、不慣れな操作画面から得られる情報だけを頼りに機器を操作する場合に比して、不慣れな機器の操作が容易になる。
請求項２記載の発明によれば、推定されたパラメータの内容を登録前に確認できる。
請求項３記載の発明によれば、パラメータを正しい内容で登録できる。
請求項４記載の発明によれば、不慣れな操作画面から得られる情報だけを頼りに機器を操作する場合に比して、不慣れな機器の操作が容易になる。
請求項５記載の発明によれば、使い慣れた操作画面を操作する以外の操作を不要にできる。
請求項６記載の発明によれば、使い慣れた操作画面を操作する以外の操作を不要にできる。
請求項７記載の発明によれば、実機を操作する前に指示可能か否かを確認できる。
請求項８記載の発明によれば、パラメータ毎に指示可能か否かを確認できる。
請求項９記載の発明によれば、不慣れな操作画面でも効率よく必要とする設定を行うことができる。
請求項１０記載の発明によれば、実機の操作画面を確認しながら操作できる。

実施の形態で使用する情報処理システムの概念構成を説明する図である。 実施の形態で使用する端末装置の構成例を示す図である。 端末装置の制御ユニットにより実現される機能構成を説明する図である。 実施の形態で使用するパラメータ設定支援サーバの構成例を説明する図である。 パラメータ設定支援サーバの制御ユニットにより実現される機能構成を説明する図である。 操作の登録動作を説明するシーケンス図である。 端末装置による操作画面の撮像の様子を説明する図である。 パラメータ設定支援サーバによる操作画面の特定の様子を説明する図である。 パラメータ推定モジュールによるパラメータの推定の手法を説明する図である。（Ａ）は遷移のパターン１を示し、（Ｂ）は遷移のパターン２を示す。 操作の登録の指示を受け付ける画面からパラメータが推定されている時点までの画面の遷移を説明する図である。 推定の結果の確認を求める画面の例を示す図である。 操作を記録した履歴の確認に用いる画面の例を示す図である。 移行確認に関する動作を説明するシーケンス図である。 移行確認を求めるボタンが操作された場合の画面の遷移例を示す図である。 設定の支援（アシスト）に関する動作を説明するシーケンス図である。 設定を支援する画面の遷移例を示す図である。 端末装置がメガネ型のウェアラブル端末である場合の操作のイメージを説明する図である。 端末装置がメガネ型のウェアラブル端末である場合の操作のイメージを説明する図である。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態＞
＜システムの全体構成＞
図１は、実施の形態で使用する情報処理システム１の概念構成を説明する図である。情報処理システム１は、インターネット１０と、地点Ａに設置されている画像形成装置２０Ａと、地点Ｂに設置されている画像形成装置２０Ｂと、ユーザが携帯する端末装置３０と、パラメータ設定支援サーバ４０とを有している。
本実施の形態における端末装置３０は、インターネット１０経由でパラメータ設定支援サーバ４０と接続されている。

図１の例では、画像形成装置２０Ａ、２０Ｂ、端末装置３０のそれぞれが１台であるものとして表しているが、画像形成装置２０Ａ、２０Ｂ、端末装置３０はいずれも複数台存在してもよい。
本実施の形態の場合、地点Ａの画像形成装置２０Ａは、端末装置３０を操作するユーザが使い慣れている装置を想定する。従って、画像形成装置２０Ａは、第１の機器の一例である。

本実施の形態の場合、「使い慣れている」とは、操作の対象とする機器の動作を規定するパラメータやその属性（以下では、総称して「パラメータ」という）の設定を迷わずに行える意味で使用する。もっとも、使い慣れているパラメータの設定は１つあればよい。
なお、使い慣れている画像形成装置２０Ａは、１機種に限らず、複数の機種でもよい。また、使い慣れている画像形成装置２０Ａを製造している会社は複数社でもよい。

本実施の形態の場合、地点Ｂの画像形成装置２０Ｂは、端末装置３０を操作するユーザが使い慣れていない装置を想定する。従って、画像形成装置２０Ｂは、第２の機器の一例である。
基本的には、使い慣れている画像形成装置２０Ａ以外は、使い慣れていない又は操作に不慣れな画像形成装置２０Ｂである。従って、設置されている地点の違いは、使い慣れているか否かには無関係である。本実施の形態では、説明の都合上、地点Ａに設置されている画像形成装置２０Ａを使い慣れている装置、地点Ｂに設置されている画像形成装置２０Ｂを使い慣れていない装置と呼んでいるのに過ぎない。従って、同じ地点Ａであっても、使い慣れている画像形成装置２０Ａと使い慣れていない画像形成装置２０Ｂが設定されていてもよい。

操作の対象である画像形成装置２０Ｂの操作に不慣れなユーザは、自身が設定したいパラメータに対応するボタン類を操作画面上で探し出し、１つずつ操作する必要がある。例えば画像形成装置２０Ｂの操作画面で使用される機能名と画像形成装置２０Ａの操作画面で使用される機能名等とが同じでも、操作画面のレイアウトが異なれば、ユーザの操作は難しくなる。加えて、機能名が異なれば、同じ機能であるのかの確認も難しくなる。
また、パラメータの属性についても、画像形成装置２０Ａでは「１」であっても、画像形成装置２０Ｂでは「２」とすべき場合もある。例えば濃度の与え方が異なる場合に起こり得る。このように、使い慣れていない画像形成装置２０Ｂにおいて、使い慣れている画像形成装置２０Ａと同じ動作を再現させることは必ずしも容易ではない。

本実施の形態における画像形成装置２０Ａ及び２０Ｂは、コピー、スキャナ、ｆａｘの機能を有している。このため、画像形成装置２０Ａ及び２０Ｂには、原稿の画像を読み取る画像読取ユニットと、記録媒体の一例である用紙上に画像を記録する画像形成ユニットと、画像データが表す画像に色補正や階調補正等の処理を加える画像処理ユニットと、装置全体の動作を制御する制御ユニットと、画像データ等を記憶する記憶ユニットと、ユーザインタフェース画面等の表示に用いられる表示ユニットと、ユーザの操作を受け付ける操作受付ユニットと、ＬＡＮ等を介した通信を実現する通信インタフェース（＝通信ＩＦ）を有している。勿論、これらの装置構成は一例である。

パラメータ設定支援サーバ４０は、ユーザが操作する端末装置３０と連携し、事前に登録された画像形成装置２０Ａで登録されたパラメータの設定を、画像形成装置２０Ｂで容易に再現できるように支援する。
本実施の形態の場合、端末装置３０は、携帯型の端末である。携帯型の端末には、例えばスマートフォン、ウェアラブル端末、ノート型のコンピュータが含まれる。ウェアラブル端末には、例えば手首装着型のウェアラブル端末、頭部に装着されるメガネ型のウェアラブル端末がある。

メガネ型の端末には、ホログラム光学素子を組み込んだ透明板を使用する透過式と呼ばれる端末がある。ホログラム光学素子は、前方から入射する光を透過する性質と、透明板の内部を伝搬する映像光を屈折してユーザの眼球方向に出力する特性とを有している。このため、メガネ型の端末を装着したユーザは、実在する物体に仮想の画像やテキストを重ねた像を視認することが可能である。

＜各装置の構成＞
＜端末装置の構成＞
図２は、実施の形態で使用する端末装置３０の構成例を示す図である。
図２に示す端末装置３０は、装置全体の動作を制御する制御ユニット３０１と、画像データ等を記憶する記憶ユニット３０２と、ユーザインタフェース画面等の表示に用いられる表示ユニット３０３と、ユーザの操作を受け付ける操作受付ユニット３０４と、画像を撮像するカメラ３０５と、通信インタフェース３０６とを有している。

ここでのカメラ３０５は、静止画像又は動画像による撮像が可能である。
本実施の形態における制御ユニット３０１は、ＣＰＵ（＝Central Processing Unit）３１１と、ファームウェアやＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）３１２と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memory）３１３とを有している。制御ユニット３０１は、いわゆるコンピュータとして機能する。

記憶ユニット３０２は、例えば不揮発性の書き換え可能な半導体メモリ等によって構成される。記憶ユニット３０２には、例えばカメラ３０５で撮像された画像データ等が記憶される。
表示ユニット３０３は、例えば液晶ディスプレイや有機ＥＬディスプレイで構成される。表示ユニット３０３には、ユーザによる操作を支援する情報が表示される。
操作受付ユニット３０４は、表示ユニット３０３の表面に配置されるタッチセンサ、スイッチ、ボタン等で構成される。
因みに、制御ユニット３０１と各ユニット等とは、バス３０７や不図示の信号線を通じて接続されている。

図３は、端末装置３０の制御ユニット３０１により実現される機能構成を説明する図である。図３に示す機能モジュールは、ＣＰＵ３１１（図２参照）によるプログラムの実行を通じて実現される。なお、図３に示す機能モジュールは、制御ユニット３０１によって提供される機能モジュールの一例である。

実施の形態における制御ユニット３０１は、操作の対象である機種を特定する操作対象特定モジュール３２１と、操作画面の遷移の候補を検出する遷移候補検出モジュール３２２と、遷移前と遷移後の操作画面の候補を保存する候補画面保存モジュール３２３と、操作画面の候補を送信する候補画面送信モジュール３２４と、パラメータ設定支援サーバ４０（図１参照）による推定の結果を提示する推定結果提示モジュール３２５と、登録されている操作の設定を指定された機種に移行可能か否かを確認した結果を提示する移行可否提示モジュール３２６と、登録されている操作と同じ設定を実現する操作を支援する画面を提示する設定支援画面提示モジュール３２７として機能する。

本実施の形態における操作対象特定モジュール３２１は、設定の操作の記録をユーザが指示した場合に実行される。本実施の形態の場合、操作対象特定モジュール３２１は、以下に説明する複数の手法のうち少なくとも１つの手法を用い、操作の対象である画像形成装置２０Ａ等を特定する。
手法の１つは、カメラ３０５（図２参照）で撮像されたラベルその他の文字や数値の列を読み取って機種を特定する手法である。この手法では、撮像された画像が文字認識され、文字コードに変換される。ラベルその他の文字や数値の列は、操作の対象である機器の筐体に配置される他、操作画面に表示されることもある。
他の手法の１つは、カメラ３０５で撮像された画像形成装置２０Ａ等の外観の画像から機種を特定する手法である。操作対象特定モジュール３２１は、予め用意されている外観の写真、特徴部分の写真等との照合により、１又は複数の候補を特定する。複数の候補が該当する場合、ユーザが選択した機器の情報を取得する。
他の手法の１つは、操作の対象である機器との論理的又は物理的な接続により、機種を特定する情報を取得する手法である。
操作の対象である機種は、例えば一覧表の中からユーザが１つを選択することで特定される。

本実施の形態の場合、遷移候補検出モジュール３２２は、操作対象特定モジュール３２１による装置の特定後に実行される。
遷移候補検出モジュール３２２は、操作画面の操作の様子を撮像した画像データを処理し、操作画面の遷移の可能性が高い事象の発生を検出する。操作画面の遷移の可能性が高い事象とは、例えば操作画面全体のレイアウト等が変化する場合、ラジオボタン等の位置が移動する場合、特定ボタンの表示色や輝度が変化する場合である。例えば非選択状態から選択状態に変化したボタンは、他とは異なる表示色に変化する。また、非選択状態から選択状態に変化したボタンは、他のボタンよりも高い輝度に変化する。

ここで、遷移候補検出モジュール３２２による操作画面の遷移の候補の検出は、ユーザが撮像した画像データの終了時点までが対象である。本実施の形態の場合、画像データの終了時点は、例えばユーザが撮像の終了を指示した時点、機械音等の設定の終了を知らせる音が検出された時点、操作画面に変化が検出されない状態のまま予め定めた時間が経過した時点である。
本実施の形態の場合、操作画面の遷移の検出は、パラメータ設定支援サーバ４０（図１参照）が実行する。このため、遷移候補検出モジュール３２２による処理は、操作画面の遷移の可能性が高い候補の検出にとどまる。

例えば動画像として操作の様子が撮像される場合、遷移候補検出モジュール３２２は、１つ前のフレームと１つ後のフレームとを順次比較し、フレーム間の差分が予め定めたしきい値を超えるか否かを判定する。フレーム間の差分が予め定めたしきい値を超える場合、本実施の形態における遷移候補検出モジュール３２２は、操作画面の遷移が生じた可能性が高いと判定する。
なお、操作中に写り込む指や手による変化は、無視することが望ましい。もっとも、写り込んだ指や手による変化を操作画面の変化として検出した場合でも、最終的な操作画面の遷移の検出は、パラメータ設定支援サーバ４０（図１参照）側で実行される。

候補画面保存モジュール３２３は、遷移の候補として検出された時点の前後に対応する操作画面を記憶ユニット３０２（図２参照）に保存する。記憶ユニット３０２に保存された操作画面には、撮像時刻などの付属データも記録されている。
候補画面送信モジュール３２４は、操作画面の送信先を示す情報に基づいて、遷移の候補として保存された操作画面を送信する。本実施の形態の場合、送信先を示す情報として、パラメータ設定支援サーバ４０のインターネット１０（図１参照）上のアドレスが記録されている。送信先を示す情報は、アプリケーションプログラムのインストール時や更新時に与えられる。例えばＵＲＬ（＝Uniform Resource Locator）が用いられる。
推定結果提示モジュール３２５は、ユーザの操作により設定されたと推定された結果を、表示ユニット３０３（図２参照）に提示する。推定の結果は、パラメータの組み合わせで与えられる。推定の結果は、パラメータ設定支援サーバ４０から与えられる。

移行可否提示モジュール３２６は、画像形成装置２０Ａについて登録された操作と同じ設定を、他の装置でも実現可能か否かを事前に確認したい場合に起動される。本実施の形態の場合、移行可否提示モジュール３２６は、ユーザが移行を希望する機種を特定する情報をパラメータ設定支援サーバ４０に与え、指定された操作と同一の設定が指定された機種で可能か否かの検証の結果を受信する。検証の結果は、パラメータ毎に与えられる。例えばあるパラメータの設定は可であるが、あるパラメータの設定は否であるとの結果が通知される。ここでの移行可否提示モジュール３２６は、提示手段の一例である。
設定支援画面提示モジュール３２７は、ユーザが指定する登録済み操作と同一の設定を、ユーザが操作する機種で実現するために必要な操作の手順や操作の内容を、実際に操作する操作画面に応じて提示する。設定支援画面提示モジュール３２７は、パラメータ設定支援サーバ４０との連動により処理を進行する。ここでの設定支援画面提示モジュール３２７は、提示手段の一例である。

＜パラメータ設定支援サーバの構成＞
図４は、実施の形態で使用するパラメータ設定支援サーバ４０の構成例を説明する図である。
図４に示すパラメータ設定支援サーバ４０は、装置全体の動作を制御する制御ユニット４０１と、パラメータの設定の支援で使用されるデータを記憶する記憶ユニット４０２と、通信インタフェース４０３とを有している。

本実施の形態における制御ユニット４０１は、ＣＰＵ４１１と、ファームウェアやＢＩＯＳ等が記憶されたＲＯＭ４１２と、ワークエリアとして用いられるＲＡＭ４１３とを有している。制御ユニット４０１は、いわゆるコンピュータとして機能する。
記憶ユニット４０２は、例えば不揮発性の記憶装置であるハードディスク装置（ＨＤＤ：Hard Disk Drive）等によって構成される。記憶ユニット４０２には、ユーザが登録した操作に関するパラメータ、端末装置３０（図１参照）から送信される操作画面、ユーザの操作として推定されたパラメータ、支援の対象である機器の機種毎の操作画面等が保存されている。
因みに、制御ユニット４０１と各ユニット等とは、バス４０４や不図示の信号線を通じて接続されている。

図５は、パラメータ設定支援サーバ４０の制御ユニット４０１により実現される機能構成を説明する図である。図５に示す機能モジュールは、ＣＰＵ４１１（図４参照）によるプログラムの実行を通じて実現される。なお、図５に示す機能モジュールは、制御ユニット４０１によって提供される機能モジュールの一例である。
実施の形態における制御ユニット４０１は、ユーザが操作する機器の機種に関する情報を取得する機種情報取得モジュール４２１と、ユーザの操作に伴う操作画面の遷移を保存する画面遷移保存モジュール４２２と、操作画面の遷移を解析してユーザが操作したパラメータを推定するパラメータ推定モジュール４２３と、推定されたパラメータを操作に関連付けて保存するパラメータ保存モジュール４２４と、パラメータの確認をユーザに求めるパラメータ確認モジュール４２５と、登録されているパラメータ等の設定をユーザが指定する機器への移行が可能か否かを確認する移行可否確認モジュール４２６と、登録されているパラメータ等と同じ設定を実現する操作の実行を支援する設定支援モジュール４２７として機能する。

本実施の形態における機種情報取得モジュール４２１は、端末装置３０からユーザが操作の対象とする機器の機種に関する情報を取得する。操作の登録時に取得された機種の情報は、ユーザの操作を解析したパラメータ等の記録に関連付けられる。機種情報取得モジュール４２１は、画像形成装置２０Ａ等の筐体に配置されているラベルその他の文字や数値の列の画像、画像形成装置２０Ａ等の外観の画像等を端末装置３０から取得して機種を特定する。

本実施の形態における画面遷移保存モジュール４２２は、端末装置３０から受信した遷移の可能性が高い操作画面の中からユーザが操作している操作画面を推定して保存する。本実施の形態における画面遷移保存モジュール４２２は、遷移の可能性が高い操作画面と操作対象である機種の操作画面に関するリストとの照合により、ユーザが操作した操作画面を推定する。推定された操作画面は、操作順に保存される。すなわち、推定された操作画面は、時系列に保存される。操作順に保存された操作画面の履歴は、ユーザの操作に伴う操作画面の遷移を表している。

パラメータ推定モジュール４２３は、操作画面の遷移を解析し、遷移の原因になったユーザによる操作の内容を推定する。換言すると、パラメータ推定モジュール４２３は、ユーザが設定したパラメータの内容を推定する。ユーザによるパラメータの設定には、例えばパラメータ自体の選択、特定のパラメータに関する属性の選択や入力等がある。ここでのパラメータ推定モジュール４２３は、推定手段の一例である。

パラメータ保存モジュール４２４は、推定されたパラメータを１つの操作に紐づけて保存する。なお、ここでの操作は、操作の対象である機器（例えば画像形成装置２０Ａ）にも紐付けられている。ここでのパラメータ保存モジュール４２４は、保存手段の一例である。
パラメータ確認モジュール４２５は、推定されたパラメータの内容の確認を操作の実行者であるユーザに求める。具体的には、パラメータ確認モジュール４２５は、推定されたパラメータの内容の承認又は修正を端末装置３０（図１参照）から受け付ける。ユーザの確認が終了すると、推定されたパラメータは、ユーザによって登録された操作の内容として保存される。ジョブメモリとの違いは、操作されたパラメータの内容まで保存される点である。

移行可否確認モジュール４２６は、端末装置３０側から、登録済みの操作の移行が可能か否かの確認が要求された場合に起動される。移行可否確認モジュール４２６は、移行の対象である登録済みの操作の指定と、移行先となる機種の指定とを受け付ける。
登録済みの操作の一覧は、機種毎にパラメータ設定支援サーバ４０に保存されている。なお、登録済みの操作の管理情報には、操作を登録したユーザを識別する情報が含まれていてもよい。なお、他のユーザによって登録された登録済み操作も一覧表示の対象になる。
移行先となる機種を指定する方法には、機種の一覧の中から選択する方法、実機からラベル等を読み取って特定する方法、実機の外観の画像から特定する方法、実機との接続により機種を特定する情報を取得する方法等がある。

移行の可否を確認する登録済みの操作と移行先となる機種とが指定されると、移行可否確認モジュール４２６は、移行先となる機種において、登録済みの操作と同一の設定が可能か否かをパラメータ毎に確認する。
因みに、操作の登録に用いた機種と移行先の機種とでは、操作画面に表示されるパラメータの名称や表現等が一致するとは限らない。ただし、本実施の形態におけるパラメータ設定支援サーバ４０には、機種の違いによるパラメータ間の対応関係のリストが記録されている。ここでのリストには、機種の違いによる属性間の対応関係についても記録されている。なお、ある機種における１つのパラメータが、別の機種では複数のパラメータの組に対応付けられていてもよい。属性についても同様である。
移行可否確認モジュール４２６は、設定されているパラメータ毎に移行の可否を確認し、確認の結果を端末装置３０に通知する。ここでの移行可否確認モジュール４２６は、提示手段の一例である。

設定支援モジュール４２７は、端末装置３０側から、登録済みの操作と同じパラメータの設定の支援が要求された場合に起動される。設定支援モジュール４２７は、支援の対象である登録済みの操作の指定と、支援の対象となる実機の指定とを受け付ける。
登録済みの操作の一覧については、移行可否確認モジュール４２６と同じである。
支援の対象である機種を指定する方法には、機種の一覧の中から選択する方法、実機からラベル等を読み取って特定する方法、実機の外観の画像から特定する方法、実機との接続により機種を特定する情報を取得する方法等がある。

登録済みの操作と操作の対象となる実機とが指定されると、設定支援モジュール４２７は、登録済みの操作と同一のパラメータの設定には、操作画面のどの部位をどのように操作すればよいかを具体的に指示する画面を形成して端末装置３０に通知する。本実施の形態の場合、設定支援モジュール４２７には、実機に表示されている操作画面を画像認識する機能も設けられており、認識された操作画面のどの部位をどのように操作すればよいかを具体的に指示する。指示には、例えばハイライト表示、仮想の枠の表示に、音声によるガイドが用いられる。
本実施の形態の場合、設定支援モジュール４２７による支援は、ユーザが支援の終了を指示した時点、機械音等の設定の終了を知らせる音が検出された時点、操作画面に変化が検出されない状態のまま予め定めた時間が経過した時点等に終了する。ここでの設定支援モジュール４２７は、提示手段の一例である。

＜具体的な操作の例＞
以下では、前述した機能を有する端末装置３０（図１参照）とパラメータ設定支援サーバ４０（図１参照）とを用いた具体的な操作の例を説明する。

＜操作の登録が選択された場合の動作＞
図６は、操作の登録動作を説明するシーケンス図である。図６の場合、記号のＳはステップを意味している。
まず、操作の登録を希望するユーザは、端末装置３０を操作して、操作を登録する画像形成装置２０Ａを特定する情報を取得する（ステップ１）。機種を特定する情報は、例えば筐体表面に印字されている文字等の読み取りにより行われる。
次に、ユーザは、カメラ３０５（図２参照）を起動し、操作の撮像を開始する（ステップ２）。なお、カメラ３０５の起動は、端末装置３０の制御により実行されてもよい。この後、ユーザは、画像形成装置２０Ａに対する操作を開始する。撮像の終了は、操作の終了まで継続される（ステップ３）。

図７は、端末装置３０による操作画面の撮像の様子を説明する図である。本実施の形態の場合、操作の対象は、地点Ａに設置されている画像形成装置２０Ａ（図１参照）である。
図中の「画面１」、「画面２」、「画面３」、「画面４」は、ユーザの操作に伴い、時系列に出現する操作画面に対応する。カメラ３０５による撮像が静止画像の場合、ユーザは、「画面１」、「画面２」、「画面３」、「画面４」を順番に撮像する。カメラ３０５による撮像が動画像の場合、ユーザは、登録する操作の開始から終了までを連続的に撮像する。

図６の説明に戻る。
図６の場合、端末装置３０は、撮像された画像データを処理して遷移の候補を検出する（ステップ４）。次に、端末装置３０は、画像形成装置２０Ａを特定する情報と遷移の候補が検出された時点の前後の操作画面を送信する（ステップ５）。送信先は、パラメータ設定支援サーバ４０である。
パラメータ設定支援サーバ４０は、対象機器について保持されている操作画面のリストとの照合により、ユーザの操作に伴う操作画面の遷移を特定する（ステップ６）。

図８は、パラメータ設定支援サーバ４０（図１参照）による操作画面の特定の様子を説明する図である。操作画面の特定は、画面遷移保存モジュール４２２（図５参照）が実行する。
図８の中段には、端末装置３０（図１参照）が遷移の候補として検出した操作画面が時系列に並んでいる。図８では、操作画面の切り替わりを伴う時点にのみ吹き出しを示しているが、遷移の候補は、これらの時点の間にも検出されている。例えば後述するパターン２（図９参照）に対応する画面の変化も、遷移の候補として検出されている。
画面遷移保存モジュール４２２は、端末装置３０から受信した操作画面と、操作の対象である機器について用意されている操作画面のリストとを照合し、操作画面の遷移を推定する。具体的には、リストと一致する４つの画面、すなわち「画面１」、「画面２」、「画面３」、「画面４」が抽出される。

図６の説明に戻る。
図６の場合、パラメータ設定支援サーバ４０は、遷移の原因であるパラメータの内容を推定する（ステップ７）。操作画面の前後の関係により、設定されたパラメータの内容の推定が可能である。
図９は、パラメータ推定モジュール４２３（図５参照）によるパラメータの推定の手法を説明する図である。（Ａ）は遷移のパターン１を示し、（Ｂ）は遷移のパターン２を示す。

パターン１は、操作画面が「画面１」から「画面２」に切り替わる例である。図９の場合、「画面１」はパラメータの一覧画面であったのに対し、「画面２」はカラーモードに関する属性の設定画面に切り替わっている。この変化は、操作画面のレイアウト自体の切り替わりを伴っている。パターン１の場合、操作画面の遷移は、「画面１」に表示されたパラメータの一覧の中で「カラーモード」が選択されたことに起因すると推定される。
パターン２は、操作画面は「画面１」のままであるが、属性が変更された場合に対応する。図９の例では、「カラーモード」について設定可能な属性が「カラー」と「白黒」の２つである。「画面１」では「カラー」が設定されていたが、「画面２」では「白黒」が設定されている。なお、「カラー」と「白黒」との間でユーザの設定が何度も変更された場合でも、登録する設定は、ユーザが最終的に選択した属性である。従って、パラメータ推定モジュール４２３は、パターン２の場合には、最終的な設定の内容を操作の記録として登録する。

図６に戻る。
登録の対象である操作についてのパラメータの推定が完了すると、パラメータ確認モジュール４２５（図５参照）は、端末装置３０に対して推定の結果を送信する（ステップ８）。
端末装置３０では、受信した推定の結果を表示する（ステップ９）。
その後、端末装置３０は、推定の結果に対するユーザの承認又はユーザによる修正を受け付ける（ステップ１０）。
本実施の形態の場合、推定の結果の承認は、パラメータ設定支援サーバ４０にも通知される。このため、承認された推定の結果は端末装置３０とパラメータ設定支援サーバ４０の両方に保存される（ステップ１１及び１２）。

＜端末装置に表示される画面の例＞
ここでは、操作の登録に伴い端末装置３０に表示される画面の例を説明する。
図１０は、操作の登録の指示を受け付ける画面からパラメータが推定されている時点までの画面の遷移を説明する図である。
時点Ｔ１に対応する画面は、操作の記録の指示が可能な初期画面である。図１０に示す初期画面では、「画像形成装置の操作を記録する」、「他の画像形成装置を操作する」、「記録したデータを見る」の３つの選択が可能である。
時点Ｔ１では、「画像形成装置の操作を記録する」がユーザによって選択されている。

時点Ｔ２に対応する画面は、時点Ｔ１で「画像形成装置の操作を記録する」が選択された場合に表示される。図１０の例では、操作を登録する画像形成装置の特定が求められている。
時点Ｔ３に対応する画面は、画像形成装置の特定が終了した後に表示される。図１０の例では、記録したい操作の開始が促されている。なお、時点Ｔ３に対応する画面が表示されるまで又は表示に連動してカメラ３０５（図２参照）による撮像が開始される。
時点Ｔ４に対応する画面は、ユーザによる操作の様子が撮像されているかをユーザが確認できるように表示される。
時点Ｔ５に対応する画面は、撮像された操作がパラメータ設定支援サーバ４０（図１参照）によって解析されていることを示す画面である。

図１１は、推定の結果の確認を求める画面の例を示す図である。
パラメータ設定支援サーバ４０による解析が終了すると、図１１に示す画面が端末装置３０に表示される。
図１１の場合、登録の対象である操作には「いつものコピー」との名称が付されている。この名称は、推定されたパラメータを保存するまでの間に入力されればよい。また、図１１の場合、推定されたパラメータとして、「カラーモード」についての「カラー」、「用紙サイズ」についての「Ａ４」、「原稿の種類」についての「文字／写真」、…「パラメータｎ」についての「設定値」が列記されている。ここでの記号「／」は「又は」の意味である。
図中右上の保存のボタンが操作されると、推定されたパラメータの内容が確定する。なお、推定の結果が実際の操作と異なる場合には、図１１に示す画面上での修正が可能である。修正には、一部の変更、追加、削除等がある。

図１２は、操作を記録した履歴の確認に用いる画面の例を示す図である。
時点Ｔ１１に対応する画面は、図１０の初期画面と同じである。時点Ｔ１１では、「記録したデータを見る」がユーザによって選択されている。
時点Ｔ１２に対応する画面は、記録済みの操作の履歴を表示する画面の一例である。図１２では、登録されている操作の名称が一覧表示されている。
図１２の例では、「いつものコピー」、「白黒コピー」、…「拡大コピー」が例示されている。例えば「いつものコピー」を選択すると、図１１に示す画面が表示される。確認画面では、保存のボタンは表示されない。

＜移行確認が選択された場合の動作＞
図１３は、移行確認に関する動作を説明するシーケンス図である。図１３の場合も、記号のＳはステップを意味している。
まず、移行確認を希望するユーザは、端末装置３０を操作して、登録済み操作を指定する（ステップ２１）。図１３の場合、指定された登録済み操作の情報は、端末装置３０からパラメータ設定支援サーバ４０に通知される。パラメータ設定支援サーバ４０は、指定された登録済み操作のパラメータを読み出す（ステップ２２）。

続いて、移行確認を希望するユーザは、端末装置３０を操作して、移行する機器ｎを選択する（ステップ２３）。ここでの選択には、機種の一覧表から選択する場合と実機を指定する場合がある。実機を指定した場合には、実機との通信により、実機の装置構成が端末装置３０に読み出される。もっとも、パラメータ設定支援サーバ４０が実機の装置構成を読み出し可能な場合には、端末装置３０による装置構成の読み出しは不要である。

登録済み操作の移行先となる機器ｎの情報の通知を受けたパラメータ設定支援サーバ４０は、機器ｎで設定可能な情報を読み出す（ステップ２４）。機器ｎが機種の一覧表から指定されている場合、パラメータ設定支援サーバ４０は、機器ｎで設定可能な最大の範囲で情報を読み出す。一方、機器ｎとして実機が指定されている場合、パラメータ設定支援サーバ４０は、指定された実機で実際に設定可能な情報を読み出す。例えば指定された機種ではフィニッシャーの装着が可能である場合、パラメータ設定支援サーバ４０は、フィニッシャーの装着を前提として設定可能な情報を読み出す。一方、実機にはフィニッシャーが装着されていない場合、パラメータ設定支援サーバ４０は、フィニッシャーに関する機能を除いて設定可能な情報とする。フィニッシャーとは、例えば綴じ処理、穴加工その他の仕上げ加工をいう。

続いて、パラメータ設定支援サーバ４０は、登録済み操作のパラメータ毎に移行の可否を確認する（ステップ２５）。パラメータの名称は、機種によって異なる可能性があるので、予め格納されている名称の対応リスト等を使用する。確認の可否は、パラメータ設定支援サーバ４０から端末装置３０に通知される。
通知を受けた端末装置３０は、登録済み操作のパラメータ毎に移行の可否を表示する（ステップ２６）。

図１４は、移行確認を求めるボタンが操作された場合の画面の遷移例を示す図である。
パラメータ設定支援サーバ４０による解析が終了すると、図１１に示す画面が端末装置３０に表示される。
時点Ｔ２１に示す画面は、登録済み操作の確認画面において「移行確認」ボタンが操作される様子を表している。
時点Ｔ２２に示す画面は、機種名の選択に用いられる一覧表を表している。時点Ｔ２２では、機種名「５８０２００５６」が選択されている。
時点Ｔ２３に示す画面には、登録済み操作を構成する個々のパラメータについての設定の可否が示されている。時点Ｔ２３の場合、カラーモードの属性が反転表示されている。反転表示は、設定できないことを意味している。例えば指定された機種がモノクロ印刷機の場合、カラー印刷を設定することができない。
なお、反転表示以外に、設定できないパラメータについて説明文を表示してもよいし、フォントを変えて表示してもよいし、フォントの色を変えて表示してもよい。

＜設定の支援（アシスト）が選択された場合の動作＞
図１５は、設定の支援（アシスト）に関する動作を説明するシーケンス図である。図１５の場合も、記号のＳはステップを意味している。
まず、設定の支援を希望するユーザは、端末装置３０を操作して、登録済み操作を指定する（ステップ３１）。図１５の場合、指定された登録済み操作の情報は、端末装置３０からパラメータ設定支援サーバ４０に通知される。パラメータ設定支援サーバ４０は、指定された登録済み操作のパラメータを読み出す（ステップ３２）。

続いて、端末装置３０は、実機の情報をパラメータ設定支援サーバ４０に送信する（ステップ３３）。実機を指定する情報の入力には、様々な手法が用意されている。例えばバーコード、ＱＲ（Quick Response）コード（登録商標）その他のコードの読み取りにより指定する方法、画像形成装置を撮像して指定する方法、画像形成装置にタッチして指定する方法を使用する。
設定する実機の情報が通知されると、パラメータ設定支援サーバ４０は、登録済み操作のパラメータと実機で設定可能なパラメータの対応関係を取得する（ステップ３４）。
この後、パラメータ設定支援サーバ４０は、実機の操作画面毎に操作位置等を特定する（ステップ３５）。特定された操作位置などは、パラメータ設定支援サーバ４０から端末装置３０に送信される。
端末装置３０では、受信した操作位置等を順番に指示する（ステップ３６）。

図１６は、設定を支援する画面の遷移例を示す図である。図１６では、端末装置３０がスマートフォン等の携帯型の端末である場合を想定している。具体的には、片手で端末装置３０を把持しながら、片手で画像形成装置２０Ｂ（図１参照）の操作画面を操作する場合を想定する。
時点Ｔ３１に対応する画面は、登録済み操作の確認画面において「アシスト」ボタンが操作される様子を表している。

時点Ｔ３２に対応する画面は、操作の対象である画像形成装置２０Ｂの指定を受け付ける画面を示している。図１６の例では、「ＱＲコードで指定」、「画像形成装置を撮像して指定」、「画像形成装置にタップして指定」の３種類が示されている。ユーザは、いずれかの手法を選択し、操作の対象とする画像形成装置２０Ｂの情報を取得する。
時点Ｔ３３に対応する画面は、画像形成装置２０Ｂの情報の取得中であることをユーザに示す画面である。

時点Ｔ３４と時点Ｔ３５に対応する画面は、操作位置等を支援する画面の例を示している。
時点Ｔ３４に対応する画面では、操作画面が「画面１」の場合である。図１６の例では、「○○をタップしてください」との文言により、ユーザが設定すべき項目が示されている。なお、画面１のうち操作すべき位置を、ユーザに明示的に示す画面を用意してもよい。
時点Ｔ３５に対応する画面では、操作画面が「画面２」に切り替わっている。操作すべき位置をユーザに通知する方法は、「画面１」と同じである。
この支援用の画面の表示により、不慣れな画像形成装置２０Ｂを操作する場合でも、ユーザは、使い慣れている画像形成装置２０Ａと同じ設定を容易に行える。

図１７は、端末装置３０がメガネ型のウェアラブル端末である場合の操作のイメージを説明する図である。図１７の場合、端末装置３０を頭部に装着したユーザには、目の前に実在する画像形成装置２０Ｂに加え、空間中には実在しない仮想の枠５１と文字列５２とが視認される。吹き出し内の表示は、ユーザによって視認される空間の様子を表している。
ここでの枠５１は、操作の対象として端末装置３０が認識している装置を、ユーザに知らせるために用いられる。また、文字列５２は、ユーザに求める行動を記述した文である。図１７の場合、「操作したい画像形成装置を見てください」との文が空中に浮かぶように表示されている。
このように、実在する物体にコンピュータが作成した仮想の視覚情報を重ねる技術は、拡張現実（＝Augmented Reality：ＡＲ）又は複合現実（＝Mixed Reality：ＭＲ）と呼ばれる。

図１８は、端末装置３０がメガネ型のウェアラブル端末である場合の操作のイメージを説明する図である。
時点Ｔ４１に対応する画面は、枠５１（図１７参照）で囲まれた範囲に存在する画像形成装置２０Ｂの情報を取得中であることを示している。時点Ｔ４１の例では、実在する画像形成装置２０Ｂに重ねるように、説明文５３が表示されている。
時点Ｔ４２に対応する画面は、ユーザが画像形成装置２０Ｂの操作画面を見ている状態で提示される支援情報の例を示している。この例の場合、「［白黒］をタップしてください」との説明文５４が「画面１」に重ねて表示されると共に、「画面１」のうちタップすべき位置に枠５５が重ねて表示されている。この枠５５も仮想の画像である。枠５５が表示されることで、ユーザは、不慣れな「画面１」でも操作すべき位置を容易に見つけられる。
時点Ｔ４３に対応する画面は、ユーザによる操作後の画面を示している。時点Ｔ４３にも説明文５４の表示が残っているが、［白黒］ボタンの操作が確認できたので枠５５の表示は消えている。

＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

前述の実施の形態においては、画像形成装置２０Ａ（図１参照）に操作を登録するユーザと画像形成装置２０Ｂ（図１参照）への登録済み操作の適用を希望するユーザとの異同について説明していないが、画像形成装置２０Ａを操作するユーザと画像形成装置２０Ｂを操作するユーザは同一人物である必要はない。

前述の実施の形態においては、端末装置３０（図１参照）とパラメータ設定支援サーバ４０（図１参照）との連携により前述した支援サービスを提供しているが、全ての処理を端末装置３０だけで実行してもよいし、パラメータ設定支援サーバ４０だけで実行してもよい。なお、パラメータ設定支援サーバ４０で全ての処理を実行する場合でも、実機に関する画像の撮像や情報の入力には端末装置３０の利用が必要となる。ここでの端末装置３０とパラメータ設定支援サーバ４０は、いずれも情報処理装置の一例である。

また、前述の実施の形態では、端末装置３０とパラメータ設定支援サーバ４０との連携動作の一例として図６、図１３、図１５を示したが、端末装置３０とパラメータ設定支援サーバ４０との処理の分担はこれらに限らない。
前述の実施の形態においては、第１の機器と第２の機器がいずれも画像形成装置であったが、第１の機器と第２の機器は画像形成装置に限らない。例えばコンピュータ等の情報処理装置、洗濯機、電子調理器等の白物家電でもよい。

１…情報処理システム、１０…インターネット、２０Ａ、２０Ｂ…画像形成装置、３０…端末装置、４０…パラメータ設定支援サーバ、３２１…操作対象特定モジュール、３２２…遷移候補検出モジュール、３２３…候補画面保存モジュール、３２４…候補画面送信モジュール、３２５…推定結果提示モジュール、３２６…移行可否提示モジュール、３２７…設定支援画面提示モジュール、４２１…機種情報取得モジュール、４２２…画面遷移保存モジュール、４２３…パラメータ推定モジュール、４２４…パラメータ保存モジュール、４２５…パラメータ確認モジュール、４２６…移行可否確認モジュール、４２７…設定支援モジュール

Claims (10)

1. 操作を記録する対象として特定された第１の機器に対するユーザの操作に伴う操作画面の遷移を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する推定手段と、
   推定されたパラメータの内容を操作の記録として保存する保存手段と
   を有する情報処理装置。
2. 推定されたパラメータの内容を確認するための画面をユーザに提示する、請求項１に記載の情報処理装置。
3. 推定されたパラメータの内容の変更を前記画面上で受け付ける、請求項２に記載の情報処理装置。
4. コンピュータに、
   操作を記録する対象として特定された第１の機器に対するユーザの操作に伴う操作画面の遷移を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、
   推定されたパラメータの内容を操作の記録として保存する機能と
   を実現させるためのプログラム。
5. コンピュータに、
   操作を記録する対象として特定された第１の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、
   推定されたパラメータの内容を操作の記録として保存する機能と、
   を実現させるためのプログラムであり、
   前記推定する機能は、ユーザの操作を受け付ける画面に変化が現れた後の画像と変化が現れる前の画像との差分を抽出し、差分に対応するパラメータに基づいてユーザの操作を推定する、
   プログラム。
6. 差分が選択肢の表示の態様の変化、又は、選択肢の選択状態に関する表示の変化である場合、前記推定する機能は、選択状態に変化した選択肢の文字列をユーザが設定したパラメータの内容と推定する、請求項５に記載のプログラム。
7. コンピュータに、
   操作を記録する対象として特定された第１の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、
   推定されたパラメータの内容を操作の記録として保存する機能と、
   保存されているパラメータの内容を、前記第１の機器とは異なる第２の機器に設定可能か否かを確認する機能の実行を受け付けた場合、確認の結果をユーザに提示する機能と
   を実現させるためのプログラム。
8. 前記設定の可否は、パラメータの内容毎に提示される、請求項７に記載のプログラム。
9. コンピュータに、
   操作を記録する対象として特定された第１の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、
   推定されたパラメータの内容を操作の記録として保存する機能と、
   前記第１の機器とは異なる第２の機器の操作画面を通じ、パラメータの内容を設定するための操作を支援する機能の実行を受け付けた場合、パラメータの内容の設定を実現する操作を当該操作画面に応じて提示する機能と
   を実現させるためのプログラム。
10. パラメータの内容の設定を実現する操作の指示は、ユーザが装着する端末を通じて拡張現実又は複合現実として提示される、請求項９に記載のプログラム。

Images