JP7057889B2 - 操作画面変換プログラム、操作画面変換装置および画像処理装置 - Google Patents

Description

本発明は、操作画面をカスタマイズする操作画面変換プログラム、操作画面変換装置および画像処理装置に関する。

出先などに設置された、コピー、プリント、スキャンなどの機能を備えた複合機等の装置が、使い慣れた機種と異なる場合、その機種が必要な機能を備えていたとしても、操作画面が異なるため、使い難い。一方、従来より、操作画面をカスタマイズする技術が各種提案されている。

たとえば、操作画面のイメージ描画、各釦の機能などが書き込まれた紙媒体を読み取り、その通りの操作画面を生成して表示する画像形成装置がある（下記特許文献１参照）。

また、外部メディアに画面のカスタマイズデータを保存しておき、この外部メディアの接続を検出すると、該カスタマイズデータに沿って画面を表示する画像形成装置がある（下記特許文献２参照）。

特開２００９－ ７１８０７号公報 特開２００９－１９２６０４号公報

近年、画像形成装置から操作画面表示用のＷｅｂＵＩデータ（ＨＴＭＬデータ）を送信し、タブレットなどの携帯型情報処理端末にて画像形成装置の操作画面を表示し、操作を受けることで、該携帯型情報端末からジョブを画像形成装置に投入したり、画像形成装置を操作したりする技術がある。

ＷｅｂＵＩにおいて、使い慣れた機種と操作画面が異なるために使い勝手が低下する問題が生じる。たとえば、Ａ社の装置を使い慣れているユーザがＢ社の装置からＷｅｂＵＩデータを受信して該Ｂ社の装置を携帯型情報処理端末から操作する場合、Ｂ社の操作画面のデザインやキーの配置、使用する用語のなどがＡ社の使い慣れた装置と相違するために、使い難く、操作に時間を要してしまうといった問題が生じる。

特許文献１、２に開示された技術では、ＷｅｂＵＩの操作画面をカスタマイズすることはできない。

本発明は、上記の問題を解決しようとするものであり、ＷｅｂＵＩ等の表示用データに基づいて表示される操作画面を使い慣れた操作画面にカスタマイズすることのできる操作画面変換プログラム、操作画面変換装置および画像処理装置を提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］情報処理装置で実行される操作画面変換プログラムであって、
第１の装置の第１操作画面の画像データを入力する第１入力ステップと、
前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析ステップと、
第２の装置の第２操作画面の表示用データを入力する第２入力ステップと、
前記解析ステップで認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を参照して紐付ける文字列紐付けステップと、
前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付けステップによって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換ステップと、
前記文字列対応表に登録がないために、前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列のうち、前記第１操作画面に含まれる操作釦の機能を示す文字列と紐付けできない文字列がある場合、前記文字列対応表への追加登録を促すメッセージを表示部に表示する勧告ステップと、
を有する
ことを特徴とする操作画面変換プログラム。

上記発明および下記［７］に記載の発明では、携帯端末などの情報処理装置は、第１の装置の第１操作画面をカメラ等で撮影して得た画像データを入力し、これを解析することで第１操作画面内での操作釦の位置、大きさ、操作釦に付された文字列を認識する。また、第２の装置からは第２操作画面の表示用データ（ＷｅｂＵＩの表示用データ（ＨＴＭＬ））を受信する。そして、第１操作画面の操作釦の機能を示す文字列と、第２操作画面の操作釦の機能を示す文字列との対応関係を、同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を参照して認識し、操作釦の機能を示す文字列をキーにして、第１操作画面の操作釦と第２操作画面の操作釦との対応関係を把握し、第２操作画面が第１操作画面に変換されるように第２操作画面の表示用データを書き換える。書き換え後の表示用データで操作画面を表示すれば、第１操作画面に変換後の操作画面が表示される。

また、文字列対応表に必要な文字列が登録されていないことをユーザに通知して、文字列の追加登録を勧告する。

［２］情報処理装置で実行される操作画面変換プログラムであって、
第１の装置の第１操作画面の画像データを入力する第１入力ステップと、
前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析ステップと、
第２の装置の第２操作画面の表示用データを入力する第２入力ステップと、
前記解析ステップで認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を参照して紐付ける文字列紐付けステップと、
前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付けステップによって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換ステップと、
ユーザから修正の操作を受けて前記文字列対応表を修正する修正ステップと、
を有する
ことを特徴とする操作画面変換プログラム。

上記発明および下記［８］に記載の発明では、ユーザは、文字列対応表を修正することができる。

［３］情報処理装置で実行される操作画面変換プログラムであって、
第１の装置の第１操作画面の画像データを入力する第１入力ステップと、
前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析ステップと、
第２の装置の第２操作画面の表示用データを入力する第２入力ステップと、
前記解析ステップで認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を参照して紐付ける文字列紐付けステップと、
前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付けステップによって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換ステップと、
ユーザから変更の操作を受けて前記表示用データを変更する変更ステップと、
を有する
ことを特徴とする操作画面変換プログラム。

上記発明および下記［９］に記載の発明では、ユーザは表示用データを、直接、変更することができる。

［４］情報処理装置で実行される操作画面変換プログラムであって、
第１の装置の第１操作画面の画像データを入力する第１入力ステップと、
前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析ステップと、
第２の装置の第２操作画面の表示用データを入力する第２入力ステップと、
前記解析ステップで認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を参照して紐付ける文字列紐付けステップと、
前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付けステップによって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換ステップと、
を有し、
前記解析ステップでは、操作釦の色、該操作釦の機能を示す文字列の位置、文字の大きさをさらに認識し、
前記データ変換ステップでは、操作釦の色、該操作釦の機能を示す文字列の位置、文字の大きさをさらに前記変換する
ことを特徴とする操作画面変換プログラム。

上記発明および下記［１０］に記載の発明では、操作釦の位置、大きさに加えて、操作釦の色、操作釦の機能を示す文字列の位置、該文字列の大きさについても変換される。

［５］前記データ変換ステップでは、前記第２操作画面の前記表示用データに含まれる一の操作釦と同じ機能の操作釦が前記第１操作画面に存在しない場合は、前記一の操作釦が操作可能に表示されない、もしくは前記一の操作釦が画面の隅に表示されるように、前記表示用データにおける前記一の操作釦に関するデータを変更する
ことを特徴とする［１］乃至［４］のいずれか１つに記載の操作画面変換プログラム。
上記発明および下記［１１］に記載の発明では、第２操作画面にあって第１操作画面にない操作釦については、変換後の操作画面に表示されない、もしくは、変換後の操作画面の隅に表示される。

［６］前記データ変換ステップでは、変換後の前記表示用データに従って操作画面を表示する表示部の表示領域のサイズ、形状を加味して前記変換を行う、
ことを特徴とする［１］乃至［５］のいずれか１つに記載の操作画面変換プログラム。
上記発明および下記［１２］に記載の発明では、変換後の表示用データを用いて操作画面を表示する端末の表示部の表示領域のサイズに応じて、画面サイズが変換される。

［７］第１の装置の第１操作画面の画像データを入力する第１入力部と、
前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析部と、
第２の装置の第２操作画面の表示用データを入力する第２入力部と、
同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を記憶する文字列対応表記憶部と、
前記解析部が認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、前記文字列対応表を参照して紐付ける文字列紐付け部と、
前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付け部によって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換部と、
前記データ変換部で変換後の表示用データに従って操作画面を表示する表示部と、
前記文字列対応表に登録がないために、前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列のうち、前記第１操作画面に含まれる操作釦の機能を示す文字列と紐付けできない文字列がある場合、前記文字列対応表への追加登録を促すメッセージを前記表示部に表示させる勧告部と、
を有する
ことを特徴とする操作画面表示装置。

［８］第１の装置の第１操作画面の画像データを入力する第１入力部と、
前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析部と、
第２の装置の第２操作画面の表示用データを入力する第２入力部と、
同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を記憶する文字列対応表記憶部と、
前記解析部が認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、前記文字列対応表を参照して紐付ける文字列紐付け部と、
前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付け部によって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換部と、
前記データ変換部で変換後の表示用データに従って操作画面を表示する表示部と、
ユーザから修正の操作を受けて前記文字列対応表を修正する修正部と、
を有する
ことを特徴とする操作画面表示装置。

［９］第１の装置の第１操作画面の画像データを入力する第１入力部と、
前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析部と、
第２の装置の第２操作画面の表示用データを入力する第２入力部と、
同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を記憶する文字列対応表記憶部と、
前記解析部が認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、前記文字列対応表を参照して紐付ける文字列紐付け部と、
前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付け部によって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換部と、
前記データ変換部で変換後の表示用データに従って操作画面を表示する表示部と、
ユーザから変更の操作を受けて前記表示用データを変更する変更部と、
を有する
ことを特徴とする操作画面表示装置。

［１０］第１の装置の第１操作画面の画像データを入力する第１入力部と、
前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析部と、
第２の装置の第２操作画面の表示用データを入力する第２入力部と、
同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を記憶する文字列対応表記憶部と、
前記解析部が認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、前記文字列対応表を参照して紐付ける文字列紐付け部と、
前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付け部によって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換部と、
前記データ変換部で変換後の表示用データに従って操作画面を表示する表示部と、
を有し、
前記解析部は、操作釦の色、該操作釦の機能を示す文字列の位置、文字の大きさをさらに認識し、
前記データ変換部は、操作釦の色、該操作釦の機能を示す文字列の位置、文字の大きさをさらに前記変換する
ことを特徴とする操作画面表示装置。

［１１］前記データ変換部は、前記第２操作画面の前記表示用データに含まれる一の操作釦と同じ機能の操作釦が前記第１操作画面に存在しない場合は、前記一の操作釦が操作可能に表示されない、もしくは前記一の操作釦が画面の隅に表示されるように、前記表示用データにおける前記一の操作釦に関するデータを変更する
ことを特徴とする［７］乃至［１０］のいずれか１つに記載の操作画面表示装置。

［１２］前記データ変換部は、前記表示部の表示領域のサイズ、形状を加味して前記変換を行う、
ことを特徴とする［７］乃至［１１］のいずれか１つに記載の操作画面表示装置。

［１３］［７］乃至［１２］のいずれか１つに記載の操作画面表示装置を含む前記第２の装置である画像処理装置。

［１４］前記表示部は外部端末の表示部であり、
前記変換後の表示用データを前記外部端末に送信する
ことを特徴とする［１３］に記載の画像処理装置。

［１５］第１の装置の第１操作画面の画像データを入力する第１入力部と、
前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析部と、
第２の装置の第２操作画面の表示用データを入力する第２入力部と、
同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を記憶する文字列対応表記憶部と、
前記解析部が認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、前記文字列対応表を参照して紐付ける文字列紐付け部と、
前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付け部によって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換部と、
前記データ変換部で変換後の表示用データに従って操作画面を表示する表示部と、
を有する操作画面表示装置
を含む前記第２の装置である画像処理装置であって、
前記表示部は外部端末の表示部であり、
前記変換後の表示用データを前記外部端末に送信する
ことを特徴とする画像処理装置。

本発明に係る操作画面変換プログラム、操作画面変換装置および画像処理装置によれば、ＷｅｂＵＩ等の表示用データに基づいて表示される操作画面を使い慣れた操作画面にカスタマイズすることができる。

本発明の実施の形態に係る操作画面変換プログラムがインストールされた情報処理装置である携帯端末の使用例を示す図である。 操作画面変換プログラムがインストールされた携帯端末（操作画面変換装置）の概略構成を示すブロック図である。 文字列対応表の一例を示す図である。 操作画面変換プログラムによる操作画面の変換処理の概略を示す流れ図である。 操作画面全体のサイズ形状や各操作釦の位置、形状、サイズをＸＹ座標上の座標情報として検出した例を示す図である。 図４のステップＳ１０３、Ｓ１０４(文字列をキーにした変換)の具体例を示す図である。 Ｂ社のＭＦＰから受信した表示用データを、Ａ社の操作画面になるように変換した一例を示す図である。 本発明の操作画面変換プログラムによる操作画面の変換処理をより詳細に示す流れ図である。 画像処理装置の概略構成を示すブロック図である。 変形例における使用の態様１に対応する流れ図である。 変形例における使用の態様２に対応する流れ図である。

以下、図面に基づき本発明の各種実施の形態を説明する。

図１は、本発明の実施の形態に係る操作画面変換プログラムが動作する情報処理装置としての携帯端末１０の使用例を示す図である。コピー、スキャン、ファクスなどの機能を合わせ持つ複合機５(以後、ＭＦＰとも記す)は、自装置の操作画面の表示用データを携帯端末１０に送信する所謂ＷｅｂＵＩの機能を有し、携帯端末１０は複合機５から受信した表示用データに基づく操作画面を表示してユーザから操作を受け、その操作結果を複合機５に送信することで、複合機５を遠隔操作する。

通常は、Ｂ社のＭＦＰからＷｅｂＵＩによる操作画面の表示用データを受信すると、携帯端末１０はその表示用データに従って操作画面を表示するので、Ｂ社のＭＦＰの操作画面に対応したＷｅｂＵＩの操作画面が表示される（Ｐ１）。ＷｅｂＵＩの表示用データは通常、ＨＴＭＬデータである。

本発明に係る操作画面変換プログラムは、ユーザが使い慣れたＡ社のＭＦＰの操作画面をカメラで撮影して得た画像データを予め携帯端末１０に入力して保持しておけば（Ｐ１１）、Ｂ社のＭＦＰから受信した表示用データに基づいて操作画面を表示する場合に、Ｂ社の表示用データに基づく操作画面を、Ａ社の操作画面に似た操作画面に変換して表示する（Ｐ１２）。たとえば、画面のレイアウト、操作釦の位置、色、文字列、言語などを変換する。

図２は、操作画面変換プログラムがインストールされた携帯端末１０（操作画面変換装置）の概略構成を示すブロック図である。携帯端末１０は、当該携帯端末１０の動作を統括的に制御する制御部としてのＣＰＵ（Central Processing Unit）１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３、不揮発メモリ１４、ネットワーク通信部１５、第１入力部１６、操作パネル１７などが接続されている。

ＣＰＵ１１は、ＯＳ(Operating System)プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで携帯端末（操作画面変換装置）１０の各機能が実現される。

ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。

不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。また、不揮発メモリ１４は、入力された操作画面の画像データを保持する画像データ保存部２１として機能する。さらに不揮発メモリ１４には、操作画面の変換時に参照される文字列対応表２２が保存される。

図３は、文字列対応表２２の一例を示している。文字列対応表２２には、同じ機能を示す複数の異なる文字列が対応付けて登録されている。たとえば、「コピー」、「コピア」、「Ｃｏｐｙ」、「ＣＯＰＹ」、「複写」、などは互いに同じ機能を示す異なる文字列であり、互いに対応付けて（図３では同じ列に）登録されている。文字列対応表２２にて言語の変換も行われる。

図２に戻って説明を続ける。ネットワーク通信部１５は、有線、無線のネットワークを通じて、複合機５やその他の外部機器と通信する。ＷｅｂＵＩに係る表示用データの受信はネットワーク通信部１５を通じて行われる。

第１入力部１６は、操作画面の画像データの入力に使用される。ここでは、第１入力部１６は、操作画面を撮影するカメラである。なお、外部のカメラで撮影して得た画像データを入力するＩ／Ｆであってもよい。操作画面の画像データは、ネットワーク通信部１５を通じて入力されてもよい。

操作パネル１７は、操作部１８と表示部１９を備えている。表示部１９は、各種の操作画面、設定画面等を表示する機能を果たす。表示部１９は液晶ディスプレイとそのドライバなどで構成される。操作部１８はユーザから各種の操作を受ける機能を果たす。操作部１８は、文字、数字、記号等の入力を受けるキーボード等と、表示部１９の表示面上に設けられたタッチスクリーンなどで構成される。ＷｅｂＵＩの表示用データに基づく操作画面を表示部１９に表示し、タッチスクリーンにより該操作画面に対する操作を受け付ける。

携帯端末１０のＣＰＵ１１は操作画面変換プログラムに基づいて動作することにより、解析部３１、文字列紐付け部３２、データ変換部３３、表示制御部３４、勧告部３５、修正部３６、変更部３７などの機能を果たす。

解析部３１は、第１入力部１６によって入力された操作画面（第１操作画面とする）の画像データを解析して、該第１操作画面のレイアウト、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列などを認識する。このほか、文字列の言語、操作釦以外の文字列の認識等も行われる。操作釦の機能を示す文字列は通常、操作釦の内側に存在する。内側に存在しない場合は、操作釦に沿ってその上側もしく下側に記述される。

文字列紐付け部３２は、解析部３１が認識した操作釦の機能を示す文字列と、ＷｅｂＵＩの表示用データに含まれる操作釦の機能を示す文字列とを、同じ機能を示す文字列が紐付けられるように、文字列対応表２２を参照して紐付ける。なお、操作釦の機能を示す文字列以外の文字列についても同様の紐付けが行われる。ＷｅｂＵＩの表示用データが示す操作画面を第２操作画面とする。

データ変換部３３は、ＷｅｂＵＩの表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、該操作釦の文字列に文字列紐付け部３２によって紐付けされた文字列に対応する第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に変換する。なお、操作釦の機能を示す文字列以外の文字列についても同様の変換(文字列の位置、サイズ、色などの変換)が行われる。

表示制御部３４は、データ変換部３３で変換後の表示用データに従って操作画面を表示部１９に表示する。

勧告部３５は、文字列対応表２２に登録がないために、ＷｅｂＵＩの表示用データに含まれる操作釦の機能を示す文字列の中に、第１操作画面に含まれる操作釦の機能を示す文字列と紐付けできない文字列がある場合に、該当する文字列を文字列対応表２２へ追加登録することを促すメッセージを表示部１９に表示する。なお、操作釦の機能を示す文字列以外の文字列についても、第１操作画面内の文字列と紐付けできない場合は同様の勧告が行われる。

修正部３６は、ユーザから修正の操作を受けて文字列対応表２２を修正する。たとえば、文字列の追加登録や変更の操作を受ける。

変更部３７は、ＷｅｂＵＩの表示用データを、ユーザから変更操作を受けて変更する機能を果たす。データ変換部３３による自動変換が適切でない場合等に、ユーザが手動により表示用データを変更することができる。

図４は、操作画面変換プログラムによる操作画面の変換処理の概略を示す流れ図である。なお、操作釦の機能を示す文字列以外の文字列についても同様の紐付けが行われる。保存されている第１操作画面の画像データを解析して操作釦や文字列に対応する部分の位置、大きさ、色、テキストに係る画像情報を検出する(ステップＳ１０１)。

次に、ステップＳ１０１で検出した画像情報から、第１操作画面全体のレイアウト、各操作釦の位置・配列を算出する。また、ＯＣＲ等により文字列を抽出する(ステップＳ１０２)。

次に、第１操作画面から抽出された文字列と、ＷｅｂＵＩの表示用データに含まれる文字列との対応関係を、文字列対応表２２を参照して特定し、これらの文字列を紐付ける（ステップＳ１０３）。

次に、ステップＳ１０３で特定した文字列の対応関係に基づいて、表示用データ内の各操作釦や文字列の位置、大きさ、色。テキストの情報を、第１操作画面の対応する操作釦や文字列の位置、大きさ、色、テキストとなるように変換する（ステップＳ１０４）。

次に、ステップＳ１０４で変換後の表示用データを用いて操作画面を表示部に表示して(ステップＳ１０５)、処理を終了する。

次に、図４のステップＳ１０１における画像情報の検出について詳細に説明する。画像データの各画素の濃度からエッジや線の連続性を検出し、これに基づいて操作画面全体の形状、サイズ、各操作釦の位置、大きさ、形状を認識する。たとえば、図５に示すように、操作画面全体のサイズ・形状や各操作釦の位置、形状、サイズを、ＸＹ座標上の座標情報として検出する。操作釦は、エッジが閉領域を囲む場合に、その閉領域を操作釦として検出する。画像データより、各画素の色情報（ＲＧＢ情報等）を取得する。ＯＣＲ等の文字認識技術により、テキスト（文言・言語）のある場所(文字列の位置)を認識する。

図４のステップＳ１０２では、操作画面全体のレイアウトを認識し、各操作釦の大きさを算出する。また、操作釦として認識した閉領域内の各画素の色の平均値を該操作釦の色とする。画素単位では色にばらつきがあったり、ムラがあったりするので、閉領域内の各画素の色の平均値を求める。ステップＳ１０１で認識したテキストのある場所に存在する文字列を構成する各文字をＯＣＲ等により認識する。

図６は、図４のステップＳ１０３、Ｓ１０４の具体例を示している。表示用データには、操作釦である矩形１に関する記述があり、矩形１の位置はx1y1、サイズはw1h1、色は色番号２００、該操作釦の機能を示す文字列は「ＣＯＰＹ」となっているものとする。一方、第１操作画面の画像データを解析して得た情報は、抽出情報４０のようであるものとする。

文字列紐付け部３２は、矩形１に含まれる文字列「ＣＯＰＹ」と同じ意味として文字列対応表２２に登録されている各文字列で抽出情報４０を検索する。この例では、文字列対応表２２の第１列に登録されている各文字列である複写、コピア、コピーなどで抽出情報４０を検索する。図６の例では、「コピー」がヒットする。ヒットした「コピー」の文字列は第１操作画面の操作釦１に含まれる文字列である。すなわち、「ＣＯＰＹ」と「コピー」が紐付けられた結果、表示用データの矩形１と、第１操作画面から抽出された操作釦１とが対応付けされる。

そこで、データ変換部３３は、表示用データに含まれる矩形１の位置、サイズ、色、文字列の情報を、第１操作画面から抽出された操作釦１の位置、サイズ、色、文字列、で書き換える。

このような処理をＷｅｂＵＩの表示用データに含まれるすべての操作釦(矩形等の閉領域)について行うことで、第２操作画面が第１操作画面に変換される。

なお、第２操作画面を第１操作画面のように変換した操作画面を、携帯端末１０の表示部１９の表示領域に適切に表示するために、第１操作画面に存在する各操作釦のサイズや配置を、第１操作画面と表示部１９の表示領域のサイズとの比率に基づいて変換する。ここでは、このサイズ変換は抽出情報４０に対して予め施しておく。すなわち、第１操作画面から検出した各操作釦の位置やサイズの情報を、予め第１操作画面と表示部１９の表示領域のサイズ比率に応じて変換した値を抽出情報４０に登録しておく。なお、表示用データを書き換える際に、抽出情報４０から読み出した位置やサイズを、第１操作画面と表示部１９の表示領域のサイズ比率に応じてサイズ変換するようにしてもよい。

文字列対応表２２に登録がないために、表示用データに含まれる操作釦の機能を示す文字列の中に、第１操作画面に含まれる操作釦の機能を示す文字列と紐付けできない文字列がある場合には、文字列対応表２２への追加登録を促すメッセージを表示部１９に表示する。そして、文字列対応表２２への追加登録をユーザから受ける。たとえば、表示用データに「マイフォルダ」という文字列が登録されており、この文字列が文字列対応表２２に登録されていない場合、「マイフォルダ」の文字列が文字列対応表２２に登録されていないので、追加登録してください。」といったメッセージを表示する。ユーザは、「マイフォルダ」の意味（たとえば、「ボックス」と同意）を調べ、文字列対応表２２内の該当する列に「マイフォルダ」の文字列を登録する。

また、修正部３６は、文字列対応表２２の登録内容の修正をユーザから受ける。たとえば、「ＣＯＰＹ」の文字列が誤って「ＣＯＰＩ」と登録されているような場合に、ユーザによる修正ができる。

また、データ変換部３３は、表示用データに含まれる一の操作釦と同じ機能の操作釦が、第１操作画面に存在しない場合は、該一の操作釦が操作可能に表示されない、もしくは該一の操作釦が画面の隅に表示されるように、表示用データを変更する。たとえば、表示用データにおいて「ステイプル」の操作釦があり、第１操作画面にこれに対応する機能の操作釦が存在しない場合、「ステイプル」の操作釦が表示されないように表示用データを変更する、もしくは、第１操作画面の空きエリアや隅に「ステイプル」の操作釦が表示されるように表示用データを書き換える。この際、ステイプルの操作釦をグレーアウトして操作不能に表示してもよい。第１操作画面に慣れているユーザは、第１操作画面にない操作釦の機能は使わないと考えられるからである。

なお、変更部３７により、ユーザが表示用データを任意に書き換えることができるので、操作釦の色やサイズなどをユーザの好みに合わせることができる。

図７は、Ｂ社のＭＦＰから受信した表示用データを、Ａ社の操作パネルの操作画面に変換した場合の一例を示している。同図（ａ）は、Ａ社のＭＦＰの操作パネルである。同図（ｂ）はＢ社のＭＦＰから受信した表示用データを用いてそのまま操作画面を表示した例である。同図（ｃ）は、本実施の形態に係る携帯端末１０が本発明の操作画面変換プログラムを実行することで、Ｂ社のＭＦＰから受信した表示用データを、Ａ社のＭＦＰの操作パネルに似た操作画面に変換して表示した例である。

たとえば、あるユーザがＡ社のＭＦＰを使い慣れている場合、このような操作画面の変換を行うことで、そのユーザは、使い慣れたＡ社の操作画面に似た操作画面で、Ｂ社のＭＦＰを遠隔操作することができる。

図８は、本発明の操作画面変換プログラムによる操作画面の変換処理をより詳細に示す流れ図である。ここでは、操作釦について変換するものとする。まず、保存してある第１操作画面の画像データを解析し、操作画面全体のサイズや形状、各操作釦の位置、大きさ、色、テキスト等を認識する（ステップＳ２０１）。

次に、携帯端末１０の表示部１９の表示領域のサイズ・形状と、画像データが示す第１操作画面のサイズ・形状とから、第１操作画面を表示部１９の表示領域に表示する際のサイズ比を算出し、ステップＳ２０１で抽出した各操作釦の大きさ、位置を、上記サイズ比で変換する(ステップＳ２０２)。

次に、ＷｅｂＵＩの表示用データから未処理の一の操作釦を選択する。選択した操作釦を操作釦Ａとする(ステップＳ２０３)。次に、操作釦Ａの機能を示す文字列(通常は操作釦Ａの領域内にある文字列)を抽出する。この文字列を文字列ａとする(ステップＳ２０４)。

文字列対応表２２を参照して、第１操作画面の操作釦にある文字列の中で、文字列ａに対応する文字列（これを文字列ｂとする）を検出する(ステップＳ２０５)。

文字列ｂが検出された場合は(ステップＳ２０６;Ｙｅｓ)、第１操作画面内の文字列ｂに係る操作釦（これを操作釦Ｂとする）を、表示用データ内の操作釦Ａに対応する操作釦に特定（紐付けする）する（ステップＳ２０７）。

表示用データ内の操作釦Ａの文字列、大きさ、位置、色の情報を、第１操作画面内の操作釦Ｂの文字列、大きさ、位置、色の情報で書き換えて(ステップＳ２０８)、ステップＳ２１０に移行する。

文字列ｂが検出されない場合は(ステップＳ２０６;Ｎｏ)、文字列ａは変換できない旨を表示して文字列対応表２２への追加登録をユーザに促し(ステップＳ２０９)、ステップＳ２１０へ移行する。

ステップＳ２１０では、表示用データ内のすべての操作釦について処理が完了したか否かを判断し、未処理の操作釦がある場合は(ステップＳ２１０;Ｎｏ)、ステップＳ２０３に戻って処理を継続する。全ての操作釦について処理が完了した場合は(ステップＳ２１０;Ｙｅｓ)、変換できなかった操作釦があるか否かを調べ、変換できない操作釦があった場合は、該変換できなかった操作釦が画面の端に表示される、もしくは、表示されないように表示用データを変更する(ステップＳ２１１)。

その後、変換後の表示用データを用いて表示部１９に操作画面を表示して(ステップＳ２１２)、本処理を終了する。

＜変形例＞
操作画面変換プログラムは、ＭＦＰなどの画像処理装置で使用されてもよい。同様に操作画面変換装置は、ＭＦＰなどの画像処理装置の一部に組み込まれてもよい。

図９は、画像処理装置５０の概略構成を示すブロック図である。図９に示す画像処理装置５０は複合機（ＭＦＰ）である。画像処理装置５０は、当該画像処理装置５０の動作を統括的に制御するＣＰＵ５１を有している。ＣＰＵ５１にはバスを通じてＲＯＭ５２、ＲＡＭ５３、画像読取部５４、プリンタ部５５、操作パネル５６、認証部５９、画像処理部６１、不揮発メモリ６２、ハードディスク装置６３、自動原稿搬送部６４、ファクシミリ通信部６５、ネットワーク通信部６６、第１入力部６７などが接続されている。

ＣＰＵ５１は、ＯＳプログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ５２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ５１が各種処理を実行することで画像処理装置５０の各機能が実現される。画像処理装置５０には操作画面変換プログラムがインストールされている。

ＲＡＭ５３は、ＣＰＵ５１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。

不揮発メモリ６２は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。文字列対応表２２は不揮発メモリ６２に保存される。

ハードディスク装置６３は、大容量不揮発の記憶装置であり、印刷ジョブのデータ、画像データなどのほか各種のプログラムやデータが記憶される。ハードディスク装置６３は、画像データ保存部２１としての機能を果たす。

画像読取部５４は、原稿を光学的に読み取って画像データを取得する機能を果たす。画像読取部５４は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。

自動原稿搬送部６４は、原稿台にセットされた原稿をその最上のものから１枚ずつ順に繰り出して搬送し、画像読取部５４の読み取り位置を通過させて所定の排紙位置へ排紙する機能を果たす。画像読取部５４は、プラテンガラス上に載置された原稿を読み取る機能と、自動原稿搬送部６４によって搬送される原稿を順次読み取る機能を備えている。

操作パネル５６は、操作部５７と表示部５８を備えている。表示部５８は各種の操作画面、設定画面等を表示する機能を果たし、液晶ディスプレイなどで構成される。操作部５７はユーザから各種の操作を受けるスタートボタンやテンキーなど各種のハードキーと、表示部５８の表示面に設けられたタッチスクリーンで構成される。タッチスクリーンは携帯端末１０に備えられるものと同様である。

ネットワーク通信部６６は、ネットワークを通じて各種の装置や複合機５、サーバ、携帯端末などの外部装置と通信する機能を果たす。モバイル端末との通信も行う。

第１入力部６７は、他の複合機５や画像処理装置５０の操作画面の画像データを入力する。第１入力部６７は、外部のカメラで撮影して得た画像データの入力Ｉ／Fである。カメラとしてもよい。

画像処理部６１は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。

プリンタ部５５は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。

ファクシミリ通信部５５は、ファクシミリ機能を備えた装置と電話回線を通じて画像データを送受信する機能を果たす。

認証部５９は、画像処理装置５０を使用するユーザを認証する。認証方法は、パスワード、IDカード、指紋、静脈などを用いた任意の方法でよい。プルプリントの印刷ジョブの出力要求を行うとき、ユーザは認証部５９でユーザ認証して画像処理装置５０にログインする。

画像処理装置５０のＣＰＵ５１は、携帯端末１０のＣＰＵ１１と同様に解析部３１、文字列紐付け部３２，データ変換部３３、表示制御部３４、勧告部３５、修正部３６、変更部３７の機能を果たす。

なお、画像処理装置は、図９に示すＭＦＰに限定されるものではない。

（使用の態様１）
Ａ社のＭＦＰを使い慣れたユーザがＢ社のＭＦＰ（図１１に示す画像処理装置５０）を使用する場合に、Ａ社のＭＦＰの操作画面をカメラで撮影して得た画像データをＢ社のＭＦＰに入力する（図１０、ステップＳ３０１）。Ｂ社のＭＦＰにインストールされた操作画面変換プログラムは、Ａ社の操作画面の画像データを解析し、これに基づいて、自社（Ｂ社）の操作画面の表示用データをＡ社の操作画面に対応するように書き換え、この書き換え後の表示用データを用いて自装置の操作パネル５６の表示部５８に操作画面を表示する（図１０、ステップＳ３０２）。ユーザはＢ社のＭＦＰをＡ社の操作画面で操作することができる。

（使用の態様２)
Ａ社のＭＦＰを使い慣れたユーザがＢ社のＭＦＰをモバイル端末から遠隔操作して使用する場合に、Ａ社のＭＦＰの操作画面をカメラで撮影して得た画像データをＢ社のＭＦＰに入力する(図１１、ステップＳ４０１)。Ｂ社のＭＦＰにインストールされた操作画面変換プログラムは、Ａ社の操作画面の画像データを解析し、これに基づいて、自社（Ｂ社）の操作画面の表示用データをＡ社の操作画面に対応したものに書き換え、この書き換え後の表示用データをモバイル端末に送信する（図１１、ステップＳ４０２）。モバイル端末は受信した表示用データを通常通りに表示すれば、該モバイル端末のユーザはＡ社の操作画面でＢ社のＭＦＰを遠隔操作することができる。

以上のように、本発明に係る操作画面変換プログラム、操作画面変換装置、画像処理装置によれば、希望の操作画面をカメラで撮影して得た画像データを入力して保存しおくだけで、ＷｅｂＵＩ等の表示用データが示す操作画面を、入力して保存している画像データが示す操作画面に変換して表示することができる。その結果、ユーザは、画像データ以外の特別なデータを用意することなく、出先で使用する装置等の操作画面を、簡単に、使い慣れた操作画面に変換して使用することができる。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

変換の際には、少なくとも操作釦の位置、大きさ、操作釦の機能を示す文字列が変換されればよいが、さらに、操作釦の色、操作釦の機能を示す文字列の位置、該文字列の大きさなどが変換されることが好ましい。

また、携帯端末１０の表示部１９の表示領域が十分大きいような場合には、変換の際に、サイズ比に基づく変換を行わなくてもよい。サイズ比の変換は、画像データで入力した操作画面を縮小して表示する場合にだけ行うようにしてもよい。

実施の形態では、複合機５の操作画面を携帯端末１０に変換して表示する例を示したが、変換対象の操作画面は、複合機５の操作画面に限定されるものではなく、任意の装置の操作画面でよい。

５…複合機
１０…携帯端末
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ネットワーク通信部
１６…第１入力部
１７…操作パネル
１８…操作部
１９…表示部
２１…画像データ保存部
２２…文字列対応表
３１…解析部
３２…文字列紐付け部
３３…データ変換部
３４…表示制御部
３５…勧告部
３６…修正部
３７…変更部
４０…抽出情報
５０…画像処理装置
５１…ＣＰＵ
５２…ＲＯＭ
５３…ＲＡＭ
５４…画像読取部
５５…プリンタ部
５６…操作パネル
５７…操作部
５８…表示部
５９…認証部
６１…画像処理部
６２…不揮発メモリ
６３…ハードディスク装置
６４…自動原稿搬送部
６５…ファクシミリ通信部
６６…ネットワーク通信部
６７…第１入力部

Claims (15)

1. 情報処理装置で実行される操作画面変換プログラムであって、
   第１の装置の第１操作画面の画像データを入力する第１入力ステップと、
   前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析ステップと、
   第２の装置の第２操作画面の表示用データを入力する第２入力ステップと、
   前記解析ステップで認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を参照して紐付ける文字列紐付けステップと、
   前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付けステップによって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換ステップと、
   前記文字列対応表に登録がないために、前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列のうち、前記第１操作画面に含まれる操作釦の機能を示す文字列と紐付けできない文字列がある場合、前記文字列対応表への追加登録を促すメッセージを表示部に表示する勧告ステップと、
   を有する
   ことを特徴とする操作画面変換プログラム。
2. 情報処理装置で実行される操作画面変換プログラムであって、
   第１の装置の第１操作画面の画像データを入力する第１入力ステップと、
   前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析ステップと、
   第２の装置の第２操作画面の表示用データを入力する第２入力ステップと、
   前記解析ステップで認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を参照して紐付ける文字列紐付けステップと、
   前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付けステップによって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換ステップと、
   ユーザから修正の操作を受けて前記文字列対応表を修正する修正ステップと、
   を有する
   ことを特徴とする操作画面変換プログラム。
3. 情報処理装置で実行される操作画面変換プログラムであって、
   第１の装置の第１操作画面の画像データを入力する第１入力ステップと、
   前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析ステップと、
   第２の装置の第２操作画面の表示用データを入力する第２入力ステップと、
   前記解析ステップで認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を参照して紐付ける文字列紐付けステップと、
   前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付けステップによって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換ステップと、
   ユーザから変更の操作を受けて前記表示用データを変更する変更ステップと、
   を有する
   ことを特徴とする操作画面変換プログラム。
4. 情報処理装置で実行される操作画面変換プログラムであって、
   第１の装置の第１操作画面の画像データを入力する第１入力ステップと、
   前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析ステップと、
   第２の装置の第２操作画面の表示用データを入力する第２入力ステップと、
   前記解析ステップで認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を参照して紐付ける文字列紐付けステップと、
   前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付けステップによって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換ステップと、
   を有し、
   前記解析ステップでは、操作釦の色、該操作釦の機能を示す文字列の位置、文字の大きさをさらに認識し、
   前記データ変換ステップでは、操作釦の色、該操作釦の機能を示す文字列の位置、文字の大きさをさらに前記変換する
   ことを特徴とする操作画面変換プログラム。
5. 前記データ変換ステップでは、前記第２操作画面の前記表示用データに含まれる一の操作釦と同じ機能の操作釦が前記第１操作画面に存在しない場合は、前記一の操作釦が操作可能に表示されない、もしくは前記一の操作釦が画面の隅に表示されるように、前記表示用データにおける前記一の操作釦に関するデータを変更する
   ことを特徴とする請求項１乃至４のいずれか１つに記載の操作画面変換プログラム。
6. 前記データ変換ステップでは、変換後の前記表示用データに従って操作画面を表示する表示部の表示領域のサイズ、形状を加味して前記変換を行う、
   ことを特徴とする請求項１乃至５のいずれか１つに記載の操作画面変換プログラム。
7. 第１の装置の第１操作画面の画像データを入力する第１入力部と、
   前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析部と、
   第２の装置の第２操作画面の表示用データを入力する第２入力部と、
   同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を記憶する文字列対応表記憶部と、
   前記解析部が認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、前記文字列対応表を参照して紐付ける文字列紐付け部と、
   前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付け部によって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換部と、
   前記データ変換部で変換後の表示用データに従って操作画面を表示する表示部と、
   前記文字列対応表に登録がないために、前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列のうち、前記第１操作画面に含まれる操作釦の機能を示す文字列と紐付けできない文字列がある場合、前記文字列対応表への追加登録を促すメッセージを前記表示部に表示させる勧告部と、
   を有する
   ことを特徴とする操作画面表示装置。
8. 第１の装置の第１操作画面の画像データを入力する第１入力部と、
   前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析部と、
   第２の装置の第２操作画面の表示用データを入力する第２入力部と、
   同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を記憶する文字列対応表記憶部と、
   前記解析部が認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、前記文字列対応表を参照して紐付ける文字列紐付け部と、
   前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付け部によって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換部と、
   前記データ変換部で変換後の表示用データに従って操作画面を表示する表示部と、
   ユーザから修正の操作を受けて前記文字列対応表を修正する修正部と、
   を有する
   ことを特徴とする操作画面表示装置。
9. 第１の装置の第１操作画面の画像データを入力する第１入力部と、
   前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析部と、
   第２の装置の第２操作画面の表示用データを入力する第２入力部と、
   同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を記憶する文字列対応表記憶部と、
   前記解析部が認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、前記文字列対応表を参照して紐付ける文字列紐付け部と、
   前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付け部によって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換部と、
   前記データ変換部で変換後の表示用データに従って操作画面を表示する表示部と、
   ユーザから変更の操作を受けて前記表示用データを変更する変更部と、
   を有する
   ことを特徴とする操作画面表示装置。
10. 第１の装置の第１操作画面の画像データを入力する第１入力部と、
    前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析部と、
    第２の装置の第２操作画面の表示用データを入力する第２入力部と、
    同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を記憶する文字列対応表記憶部と、
    前記解析部が認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、前記文字列対応表を参照して紐付ける文字列紐付け部と、
    前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付け部によって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換部と、
    前記データ変換部で変換後の表示用データに従って操作画面を表示する表示部と、
    を有し、
    前記解析部は、操作釦の色、該操作釦の機能を示す文字列の位置、文字の大きさをさらに認識し、
    前記データ変換部は、操作釦の色、該操作釦の機能を示す文字列の位置、文字の大きさをさらに前記変換する
    ことを特徴とする操作画面表示装置。
11. 前記データ変換部は、前記第２操作画面の前記表示用データに含まれる一の操作釦と同じ機能の操作釦が前記第１操作画面に存在しない場合は、前記一の操作釦が操作可能に表示されない、もしくは前記一の操作釦が画面の隅に表示されるように、前記表示用データにおける前記一の操作釦に関するデータを変更する
    ことを特徴とする請求項７乃至１０のいずれか１つに記載の操作画面表示装置。
12. 前記データ変換部は、前記表示部の表示領域のサイズ、形状を加味して前記変換を行う、
    ことを特徴とする請求項７乃至１１のいずれか１つに記載の操作画面表示装置。
13. 請求項７乃至１２のいずれか１つに記載の操作画面表示装置を含む前記第２の装置である画像処理装置。
14. 前記表示部は外部端末の表示部であり、
    前記変換後の表示用データを前記外部端末に送信する
    ことを特徴とする請求項１３に記載の画像処理装置。
15. 第１の装置の第１操作画面の画像データを入力する第１入力部と、
    前記第１操作画面の画像データを解析して、該第１操作画面内の操作釦の位置、大きさ、および該操作釦の機能を示す文字列を認識する解析部と、
    第２の装置の第２操作画面の表示用データを入力する第２入力部と、
    同じ機能を示す複数の異なる文字列が対応付けて登録された文字列対応表を記憶する文字列対応表記憶部と、
    前記解析部が認識した操作釦の機能を示す文字列と、該文字列と同じ機能を示す前記第２操作画面の前記表示用データに含まれる操作釦の機能を示す文字列を、前記文字列対応表を参照して紐付ける文字列紐付け部と、
    前記第２操作画面の前記表示用データに含まれる操作釦の位置、サイズ、該操作釦の機能を示す文字列を、この文字列に前記文字列紐付け部によって紐付けされた文字列に対応する前記第１操作画面の操作釦の位置、サイズ、該操作釦の機能を示す文字列に基づいて変換するデータ変換部と、
    前記データ変換部で変換後の表示用データに従って操作画面を表示する表示部と、
    を有する操作画面表示装置
    を含む前記第２の装置である画像処理装置であって、
    前記表示部は外部端末の表示部であり、
    前記変換後の表示用データを前記外部端末に送信する
    ことを特徴とする画像処理装置。

Images