JP6206219B2 - 連携表示システム、表示装置およびそのプログラム、連携表示方法 - Google Patents

Description

本発明は、２つの表示部にて表示する表示内容を連携させる連携表示システム、表示装置およびそのプログラム、連携表示方法に関する。

表示部の表示領域を２つに分割し、それぞれに異なる画面を表示させておき、ユーザからいずれの画面を表示するかの選択を受けたら、その選択された方の画面のみを該表示領域全体を使用して表示する技術が特許文献１に開示されている。詳細には、特許文献１では、一のディスプレイにテレビ画面と、地図画面の双方を表示し、一方の画面が選択されたら、その選択された方の画面のみを該ディスプレイに拡張表示している。

特開２０００−３４６６５１号公報

ところで、複数の表示装置を並置し、それらの表示部を使用して、１つの画面を拡大表示する方法がある。この方法では、複数の表示部が表示していた画面のうち、いずれの画面を拡大表示するかを、拡大表示を行わせる度にユーザが選択しなければならなかった。よって、いずれの画面を拡大表示するかを自動的に選択することが望まれる。なお、親機となる表示装置の表示する画面が固定的に選択されるような構成の場合は、子機となる表示装置が表示していた画面を拡大表示することができないという問題もあった。

特許文献１に記載の発明は、一つの表示部に、２つの画面を表示させている状態で、選択された一方の画面を大きく表示させる方法であり、複数の表示装置が表示する画面のうち、いずれの表示装置の表示する画面を主とするかを選択するものではない。

本発明は、別々の表示装置の持つ表示部を並置して、それらの表示内容を連携させる場合に、状況に応じて、いずれの表示部が表示していた画面を主とするかを切り替えることができる連携表示システム、表示装置およびそのプログラム、連携表示方法を提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］操作部と表示部を備える第１、第２の操作表示装置と、
前記第１の操作表示装置の表示部と、前記第２の操作表示装置の表示部が並置されたことを検出する検出部と、
前記検出後、前記第１の操作表示装置と前記第２の操作表示装置のうちのいずれに表示されていた画面を主とするかを所定の判断基準に従って判断し、主とする画面に基づく画面を前記第１の操作表示装置と前記第２の操作表示装置に表示させる連携表示を行う連携表示制御部と、
を備える
ことを特徴とする連携表示システム。

上記［１］および下記［９］、［１７］、［１８］に係る発明では、第１、第２の操作表示装置の表示部が並置されたら、第１の操作表示装置と第２の操作表示装置の表示する画面のうちのいずれの画面を主とするかを所定の判断基準に従って判断し、主とする画面に基づく画面を第１の操作表示装置と第２の操作表示装置に表示させる。これにより、状況に応じて、いずれの表示部が表示していた画面を主として連携表示を行うかを切り替えることができる。なお、所定の判断基準には、たとえば、操作の状況や表示内容などが含まれる。

［２］前記検出前に前記第１の操作表示装置と前記第２の操作表示装置が受けた操作、または前記検出後に前記連携表示が開始されるまでの間に前記第１の操作表示装置と前記第２の操作表示装置が受けた操作を、前記所定の判断基準に含める
ことを特徴とする［１］に記載の連携表示システム。

上記［２］および下記［１０］、［１９］に係る発明では、第１、第２の操作表示装置の表示部が並置される前に第１、第２の操作表示装置で受けた操作、または並置された後連携表示が開始されるまでの間に第１、第２の操作表示装置で受けた操作を、前記所定の判断基準に含める。たとえば、操作の有無や操作を受けた時間、操作の種類、操作内容などに基づいて、第１の操作表示装置と第２の操作表示装置の表示する画面のうちのいずれの画面を主とするかを判断する。

［３］前記連携表示制御部は、前記第１の操作表示装置と前記第２の操作表示装置のうち、前記検出前に最後に操作を受けた操作表示装置に表示されていた画面を前記主とする画面にする
ことを特徴とする［１］または［２］に記載の連携表示システム。

上記［３］および下記［１１］、［２０］に係る発明では、第１、第２の操作表示装置の表示部が並置される前に、最後に操作を受けた操作表示装置に表示されていた画面を主とする画面にする。これにより、連携表示が開始されても、連携表示が始まる直前に操作を受けた操作表示装置の画面が継続して表示される。なお、ここでいう操作とは、いずれの画面を主とするかを選択する選択操作に限らず、設定操作のような通常の操作を含む。

［４］前記連携表示制御部は、前記検出前の最後の操作を受けてから所定時間が経過している場合は、前記連携表示を行わない
ことを特徴とする［３］に記載の連携表示システム。

上記［４］および下記［１２］、［２１］に係る発明では、第１、第２の操作表示装置の表示部が並置される前の最後の操作を受けてから所定時間が経過した場合、その操作は、連携表示を開始した後に受ける操作とは無関係な操作である可能性が高いので、連携表示を行わない。

［５］前記検出前に前記第１の操作表示装置と前記第２の操作表示装置が表示していた表示内容を、前記所定の判断基準に含める
ことを特徴とする［１］乃至［４］のいずれか１つに記載の連携表示システム。

上記［５］および下記［１３］、［２２］に係る発明では、第１、第２の操作表示装置の表示部が並置される前に、第１、第２の操作表示装置が表示していた表示内容を、所定の判断基準に含める。たとえば、広告画面と設定画面が表示されていた場合、該設定画面を主とする画面にすれば、連携表示の開始後も該設定画面が表示されるので、該設定画面で受けた設定内容がリセットされてしまう事態の発生を防ぐことができる。

［６］前記連携表示制御部は、前記検出前に、前記第１の操作表示装置と前記第２の操作表示装置が表示していた画面のうち、表示しきれない部分を持つ画面を前記主とする画面にする
ことを特徴とする［１］乃至［５］のいずれか１つに記載の連携表示システム。

上記［６］および下記［１４］、［２３］に係る発明では、第１、第２の操作表示装置の表示部が並置される直前に、第１、第２の操作表示装置が表示していた画面のうち、表示しきれない部分を持つ画面を主とする画面にする。表示しきれない部分を持つ画面とは、１つの表示部で一度に全体を表示することが不可能なサイズの画面である。

［７］前記検出部は、前記検出時に、前記第１操作表示部と前記第２操作表示部の相対位置関係を認識し、
前記連携表示制御部は、前記主とする画面を表示している表示部に対して、前記表示しきれない部分がある方向に、他方の操作表示装置がある場合のみ、前記連携表示を行う
ことを特徴とする［６］に記載の連携表示システム。

上記［７］および下記［１５］、［２４］に係る発明では、第１、第２の操作表示装置の表示部が並置されたら、２つの表示部の相対位置関係を認識する。そして、主とする画面が表示されている表示部に対して、該画面の表示しきれない部分がある方向に、他方の操作表示装置がある場合のみ、連携表示を行う。

［８］前記連携表示制御部は、前記所定の判断基準で前記判断がつかない場合に、前記第１の操作表示装置と前記第２の操作表示装置が表示する画面のうちのいずれか一方の選択をユーザから受け、該選択された画面を前記主とする画面にする
ことを特徴とする［１］乃至［７］のいずれか１つに記載の連携表示システム。

上記［８］および下記［１６］、［２５］に係る発明では、所定の判断基準で主とする画面を判断できない場合は、第１の操作表示装置と第２の操作表示装置が表示する画面のうちのいずれか一方の選択をユーザから受け、該選択された画面を主とする画面にする。

［９］操作部と、
表示部と、
操作部と表示部とを備える外部の表示装置とデータの送受信を行う通信部と、
自装置の表示部と、前記外部の表示装置の表示部が並置されたことを検出する検出部と、
前記検出後、自装置と前記外部の表示装置のうちのいずれに表示されていた画面を主とするかを所定の判断基準に従って判断し、主とする画面に基づく画面を自装置の表示部と前記外部の表示装置に表示させる連携表示を行う制御部と、
を備える
ことを特徴とする表示装置。

［１０］前記検出前に自装置と前記外部の表示装置が受けた操作、または前記検出後であって前記連携表示が開始されるまでの間に自装置と前記外部の表示装置が受けた操作を、前記所定の判断基準に含める
ことを特徴とする［９］に記載の表示装置。

［１１］前記連携表示制御部は、自装置と前記外部の表示装置のうち、前記検出前に最後に操作を受けた表示装置に表示されていた画面を前記主とする画面にする
ことを特徴とする［９］または［１０］に記載の表示装置。

［１２］前記連携表示制御部は、前記検出前の最後の操作を受けてから所定時間が経過している場合は、前記連携表示を行わない
ことを特徴とする［１１］に記載の表示装置。

［１３］前記検出前に自装置と前記外部の表示装置が表示していた表示内容を、前記所定の判断基準に含める
ことを特徴とする［９］乃至［１２］のいずれか１つに記載の表示装置。

［１４］前記連携表示制御部は、前記検出前に、自装置と前記外部の表示装置が表示していた画面のうち、表示しきれない部分を持つ画面を前記主とする画面にする
ことを特徴とする［９］乃至［１３］のいずれか１つに記載の表示装置。

［１５］前記検出部は、前記検出時に、自装置の表示部と外部の表示装置の表示部との相対位置関係を認識し、
前記連携表示制御部は、自装置の表示部が表示している画面を前記主とする画面にする場合は、自装置の表示部に対して前記表示しきれない部分がある方向に前記外部の表示装置の表示部がある場合のみ、前記連携表示を行い、前記外部の表示装置が表示している画面を前記主とする画面にする場合は、前記外部の表示装置の表示部に対して前記表示しきれない部分がある方向に自装置の表示部がある場合のみ、前記連携表示を行う
ことを特徴とする［１４］に記載の表示装置。

［１６］前記連携表示制御部は、前記所定の判断基準で前記判断がつかない場合に、自装置と前記外部の表示装置が表示する画面のうちのいずれか一方の選択をユーザから受け、該選択された方の画面を前記主とする画面にする
ことを特徴とする［９］乃至［１５］のいずれか１つに記載の表示装置。

［１７］操作部と表示部を備えた情報処理装置を、
［９］乃至［１６］のいずれか１つに記載の表示装置として機能させる
ことを特徴とするプログラム。

［１８］操作部と表示部を備える第１、第２の操作表示装置の表示部が並置、されたことを検出する検出ステップと、
前記検出後、前記第１の操作表示装置と前記第２の操作表示装置のうちのいずれに表示されていた画面を主とするかを所定の判断基準に従って判断し、主とする画面に基づく画面を前記第１の操作表示装置と前記第２の操作表示装置に表示させる連携表示を行う連携表示ステップと、
を備える
ことを特徴とする連携表示方法。

［１９］前記検出前に前記第１の操作表示装置と前記第２の操作表示装置が受けた操作、または前記検出後であって前記連携表示が開始されるまでの間に前記第１の操作表示装置と前記第２の操作表示装置が受けた操作を、前記所定の判断基準に含める
ことを特徴とする［１８］に記載の連携表示方法。

［２０］前記連携表示ステップでは、前記第１の操作表示装置と前記第２の操作表示装置のうち、前記検出前に最後に操作を受けた操作表示装置に表示されていた画面を前記主とする画面にする
ことを特徴とする［１８］または［１９］に記載の連携表示方法。

［２１］前記連携表示ステップでは、前記検出前の最後の操作を受けてから所定時間が経過している場合は、前記連携表示を行わない
ことを特徴とする［２０］に記載の連携表示方法。

［２２］前記検出前に前記第１の操作表示装置と前記第２の操作表示装置が表示していた表示内容を、前記所定の判断基準に含める
ことを特徴とする［１８］乃至［２１］のいずれか１つに記載の連携表示方法。

［２３］前記連携表示ステップでは、前記検出前に、前記第１の操作表示装置と前記第２の操作表示装置が表示していた画面のうち、表示しきれない部分を持つ画面を前記主とする画面にする
ことを特徴とする［１８］乃至［２２］のいずれか１つに記載の連携表示方法。

［２４］前記検出ステップでは、前記検出時に、前記第１操作表示部と前記第２操作表示部の相対位置関係を認識し、
前記連携表示ステップでは、前記主とする画面を表示している表示部に対して、前記表示しきれない部分がある方向に、他方の操作表示装置がある場合のみ、前記連携表示を行う
ことを特徴とする［２３］に記載の連携表示方法。

［２５］前記連携表示ステップでは、前記所定の判断基準で前記判断がつかない場合に、前記第１の操作表示装置と前記第２の操作表示装置が表示する画面のうちのいずれか一方の選択をユーザから受け、該選択された画面を前記主とする画面にする
ことを特徴とする［１８］乃至［２４］のいずれか１つに記載の連携表示方法。

本発明に係る連携表示システム、表示装置およびそのプログラム、連携表示方法によれば、別々の表示装置の持つ表示部を並置して、それらの表示内容を連携させる場合に、状況に応じて、いずれの表示部が表示していた画面を主とするかを切り替えることができる。

本発明の実施の形態に係る画像形成装置と、携帯端末を示す説明図である。 本発明の実施の形態に係る画像形成装置の概略構成を示すブロック図である。 操作パネルと携帯端末においてセンサの配置例を示す図である。 本発明の実施の形態に係る携帯端末の概略構成を示すブロック図である。 予め並び順が決められた複数の画面のうちの一の画面を、操作パネルと携帯端末が表示する様子を示す図である。 操作パネルの右側に携帯端末を並置させようとする場合の様子を示す図である。 操作パネルの右側に携帯端末を並置させた場合の様子を示す図である。 携帯端末で操作をしながら、操作パネル３０に向けて移動する様子を示す図である。 連携表示の開始前に、一方の装置に操作を行った場合の連携表示の例を示す図である。 並置される前に携帯端末にて優先釦を選択していた場合の、連携表示の例を示す図である 並置される前に操作パネルにて優先釦を選択していた場合の、連携表示の例を示す図である。 操作パネルにて、いずれの画面を主画面とするかの選択を受ける場合の、表示例を示す図である。 携帯端末にて、いずれの画面を主画面とするかの選択を受ける場合の、表示例を示す図である。 操作パネルと携帯端末のいずれかにて、いずれの画面を主画面とするかの選択を受ける場合の、表示例を示す図である。 リストを表示中の操作パネルに、携帯端末を並置させようとする場合の様子を示す図である。 リストを表示中の操作パネルに、携帯端末を並置させた場合の様子を示す図である。 続き部分のない方向に携帯端末を並置させた場合の様子を示す図である。 互いに、続き部分を持つ画面を表示中の操作パネルと携帯端末を示す図である。 図１８の状態から、操作パネルの続き部分がある方向に携帯端末が位置する場合の連携表示の例を示す図である。 図１８の状態から、携帯端末の続き部分がある方向に操作パネルが位置する場合の連携表示の例を示す図である。 互いに、続き部分がある方向に他方の装置を並置させる場合の様子を示す図である 互いに、続き部分がある方向に他方の装置を並置させた場合に、いずれの画面を主画面とするかの選択を受ける様子をユーザから受ける様子を示す図である。 リスト以外の画面の例を示す図である。 リスト以外の画面にて連携表示を行う場合の例を示す図である。 連携表示を行う前に、いずれの画面を主画面とするかを判断する処理を示す流れ図である。 図２５の処理の続きを示す流れ図である。 図２５の処理の続きであって、図２６の処理と分岐した処理を示す流れ図である。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る連携表示システム５を示す。連携表示システム５は、本発明の第１の操作表示装置としての機能を備える画像形成装置１０と、本発明の第２の操作表示装置としての機能を備える携帯端末４０がＬＡＮ(Local Area Network)３で接続されて構成されている。

画像形成装置１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピージョブ、読み取った原稿の画像データをファイルにして保存したり外部装置へ送信したりするスキャンジョブ、ＰＣ（Personal Computer）、から送出されたデータに係る画像を記録紙に印刷して出力するプリントジョブ（印刷ジョブ）などのジョブを実行する機能を備えた、所謂、複合機である。画像形成装置１０は、表示部３１と操作部３２を含む操作パネル３０を備え（図２参照）、この操作パネル３０を通じて、ユーザから各種の設定やジョブの投入に係る設定操作を受け付ける。

携帯端末４０は、持ち歩きが可能な端末であり、表示部５１と操作部５２を含む操作表示部５０を備えている（図４参照）。携帯端末４０は、ユーザから印刷ジョブの作成に係る設定操作を受け付ける。携帯端末４０は印刷ジョブを作成したら、その印刷ジョブを画像形成装置１０に送信する機能を備える。

本発明の実施の形態では、連携表示システム５は、操作パネル３０と携帯端末４０が並置された場合、両装置の表示内容を連携させる（以後、連携表示と記す。）ことができる。連携表示を実行する場合、画像形成装置１０が、操作パネル３０と携帯端末４０のうちのいずれが表示していた画面を主とするかを所定の判断基準に従って判断し、その主とする画面（以後、主画面と呼ぶ。）に基づく画面を操作パネル３０と携帯端末４０に表示させる。たとえば、操作パネル３０が表示している画面を主画面とする場合、その主画面に対応する画面が携帯端末４０に表示される。

所定の判断基準に従って、操作パネル３０と携帯端末４０のうちのいずれが表示していた画面を主画面とするかを判断するので、連携表示システム５は、状況に応じて、操作パネル３０と携帯端末４０のうちのいずれが表示中の画面を主画面として連携表示を行うかを切り替えることができる。所定の判断基準、および連携表示について詳細は後述する。

図２は、本発明の実施の形態に係る画像形成装置１０の概略構成を示すブロック図である。画像形成装置１０は、当該画像形成装置１０の動作を統括的に制御するＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２と、ＲＡＭ(Random Access Memory)１３と、不揮発メモリ１４と、ハードディスク装置１５と、画像処理部１６と、画像読取部１７と、プリンタ部１８と、ファクシミリ通信部１９と、ネットワーク通信部２０と、センサ２１と、ＡＤＦ（Auto Document Feeder）２２と、認証部２３と、操作パネル３０とを備えている。

ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。また、ＣＰＵ１１は、操作パネル３０の表示内容を制御する制御部としての機能を果たす。

ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで画像形成装置１０の各機能が実現される。また、ＲＯＭ１２には、画像形成装置１０の一連の制御をＣＰＵ１１が実行するためのプログラムが格納されている。

ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。

不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。

ハードディスク装置１５は、大容量の不揮発の記憶装置であり、ＯＳプログラムや各種アプリケーションプログラム、ユーザ情報、印刷データや画像データ、ジョブ履歴、各操作の重要度や各画面の重要度など連携表示を行う場合に主画面となる画面を判断する為に使用する各種情報などが保存される。

画像処理部１６は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。

画像読取部１７は、原稿を光学的に読み取って画像データを取得する機能を果たす。画像読取部１７は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。

プリンタ部１８は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。

ファクシミリ通信部１９は、ファクシミリ機能を備えた外部装置と公衆回線を通じて画像データを送受信する機能を果たす。

ネットワーク通信部２０は、ＬＡＮなどのネットワークを通じて携帯端末４０や、その他の外部装置との間でデータを通信する機能を果たす。ネットワーク通信部２０は、連携パネルモード時には、操作パネル３０に表示されている画面と連携する画面の表示データを携帯端末４０に送信する。

ＡＤＦ２２は、画像を読み取る際に、複数枚の原稿を連続して画像読取部１７の原稿台に送る自動原稿搬送装置としての機能を果たす。一度に３０枚程度の原稿をセットすることが可能で、原稿を読み取るごとに原稿台にセットし直す手間を省略することができる。

認証部２３は、ユーザ認証を行う機能を果たす。具体的には、ユーザのログイン時にユーザ認証を行い、ログインユーザを特定する。本実施の形態では、画像形成装置１０を利用するにはログインを必要とし、利用前にユーザ認証が必ず行われるものとする。なお、ユーザ認証の方法は、ユーザＩＤ（Identification）とパスワードによる認証や指紋認証等、適当な方法であればよい。

操作パネル３０は、表示部３１と、操作部３２とを備えている。操作部３２は、スタートボタンや戻る釦などのスイッチ部３３とタッチパネル部３４とを備えている。表示部３１は、液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）などで構成され、各種の操作画面、設定画面などを表示する機能を果たす。本実施の形態では、操作パネル３０が表示する表示内容の制御、操作パネル３０による操作の受け付けに関する制御はＣＰＵ１１が行う。

タッチパネル部３４は、表示部３１上に設けられている。タッチパネル部３４は、タッチペンや指などで押下された表示部３１上のタッチ位置（座標位置）を検出する。ＣＰＵ１１は、継続的に検出されるタッチ位置の変化（操作情報）から、フリック操作やドラッグ操作などを認識する。

センサ２１は、操作パネル３０の側面において、上下左右の異なる方向に１つずつ、計４か所に設置されており、隣に携帯端末４０が並置されているか否かを判別する。具体的には、センサ２１は、後述する携帯端末４０の持つセンサ４７と通信可能か否かによって、携帯端末４０が並置されているか否かを判別する。図３（ａ）は、センサ２１の設置されている場所の一例を示す。

たとえば、操作パネル３０のセンサ２１は、センサ２１が臨む方向の中心軸から±１５度の方向にある携帯端末４０のセンサ４７とのみ通信可能である。実施の形態では、センサ２１は通信可能な距離が極めて短く、センサ４７と接触する位の距離でなければ通信不可能であるものとする。ＣＰＵ１１は、センサ２１が携帯端末４０のセンサ４７と通信可能である場合は、そのセンサ２１が臨む方向に携帯端末４０が並置されていると判断する。上記は一例であり、携帯端末４０が並置されていることの検知は別のセンサや方法を使用してもかまわない。

図４は、携帯端末４０の概略構成を示すブロック図である。携帯端末４０は、当該携帯端末４０の動作を統括的に制御するＣＰＵ４１を有している。ＣＰＵ４１にはバスを通じてＲＯＭ４２と、ＲＡＭ４３と、不揮発メモリ４４と、ハードディスク装置４５と、ネットワーク通信部４６と、センサ４７と、認証部４８と、操作表示部５０とを備えている。

ＣＰＵ４１は、ＯＳプログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。また、ＣＰＵ４１は、操作表示部５０の表示内容を制御する制御部としての機能を果たす。

ＲＯＭ４２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ４１が各種処理を実行することで携帯端末４０の各機能が実現される。また、ＲＯＭ４２には、携帯端末４０の一連の制御をＣＰＵ４１が実行するためのプログラムが格納されている。

ＲＡＭ４３は、ＣＰＵ４１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。

不揮発メモリ４４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報や、操作パネル３０と連携表示を行うためのプログラム（これを、操作表示アプリとする）などが記憶される。

ハードディスク装置４５は、大容量の不揮発の記憶装置であり、ＯＳプログラムや各種アプリケーションプログラムなどが保存される。

ネットワーク通信部４６は、ＬＡＮ３などのネットワークを通じて画像形成装置１０やその他の外部装置との間でデータを通信する機能を果たす。

認証部４８は、ユーザ認証を行う機能を果たす。具体的には、ユーザのログイン時にユーザ認証を行い、ログインユーザを特定する。本実施の形態では、携帯端末４０を利用するにはログインを必要とし、利用前にユーザ認証が必ず行われるものとする。なお、ユーザ認証の方法は、ユーザＩＤとパスワードによる認証や指紋認証等、適当な方法であればよい。

操作表示部５０は、表示部５１と、操作部５２とを備えている。操作部５２は、スタートボタンや戻る釦などのスイッチ部５３とタッチパネル部５４とを備えている。表示部５１は、液晶ディスプレイなどで構成され、各種の操作画面、設定画面などを表示する機能を果たす。

タッチパネル部５４は、表示部５１上に設けられている。タッチパネル部５４は、タッチペンや指などで押下された表示部５１上のタッチ位置（座標位置）を検出する。ＣＰＵ４１は、継続的に検出されるタッチ位置の変化から、フリック操作やドラッグ操作、マルチタッチ操作などを認識する。

センサ４７は、携帯端末４０の側面において、上下左右の異なる方向に１つずつ、計４か所に設置されており、操作パネル３０のセンサ２１と通信を行う。図３（ｂ）はセンサ４７の設置されている場所の一例を示す。

なお、画像形成装置１０は、携帯端末４０の持つ複数のセンサ４７のうちのいずれのセンサ４７と、操作パネル３０持つ複数のセンサ２１のうちのいずれのセンサ２１が通信しているかにより、操作パネル３０に対して携帯端末４０がどのような向きで並置されているのかを認識する。たとえば、図３の操作パネル３０のセンサ２１（Ａ）と携帯端末４０のセンサ４７（Ａ）が通信可能な場合は、操作パネル３０の下側に対して携帯端末４０の上側が対向するように、センサ２１（Ａ）とセンサ４７（Ｂ）が通信可能な場合は、操作パネル３０の下側に対して携帯端末４０の右側が対向するように並置されたと認識する。

本発明の実施の形態では、画像形成装置１０は、操作パネル３０に対して並置された携帯端末４０の向きによっては連携表示を実行しないものとする。具体的には、操作パネル３０の上側に対して携帯端末４０の下側、操作パネル３０の下側に対して携帯端末４０の上側、操作パネル３０の右側に対して携帯端末４０の左側、操作パネル３０の左側に対して携帯端末４０の右側が対向するように並置された場合に連携表示を行う。

次に、画像形成装置１０（操作パネル３０）と携帯端末４０が連携表示を開始するまでの流れについて説明する。

まず、画像形成装置１０と携帯端末４０が通信を確立する。そして、通信が確立されたら、操作パネル３０と携帯端末４０が並置されるのを待つ。操作パネル３０と携帯端末４０が並置されたら、操作パネル３０と携帯端末４０の表示する画面のうち、いずれの画面を主画面とするかを判断する。その後、画像形成装置１０と携帯端末４０が、自装置の表示モードを連携表示モードに移行し、連携表示を開始する。

次に、通信の確立について説明する。通信の確立は、画像形成装置１０と携帯端末４０のうちのいずれからも可能である。

（１、画像形成装置１０側から通信を確立する場合）
画像形成装置１０側から通信を確立する場合、まず、ユーザの操作により、画像形成装置１０が、ユーザから指定された携帯端末４０との通信状況をチェックし、通信可能であれば、該携帯端末４０と通信を確立する。

（２、携帯端末４０側から通信を確立する場合）
携帯端末４０側から通信を確立する場合、まず携帯端末４０で連携表示アプリを立ち上げ、そのアプリが画像形成装置１０へ、通信確立要求、を出し、これを受信した画像形成装置１０との間で通信が確立される。

携帯端末４０と画像形成装置１０が通信を確立した後、ユーザが携帯端末４０を操作パネル３０に並置したら、ＣＰＵ１１がセンサ２１を使用して携帯端末４０と操作パネル３０が並置されたことを認識する。

画像形成装置１０は、操作パネル３０に携帯端末４０が並置されたことを検知したら、操作パネル３０と携帯端末４０が表示していた画面のうち、いずれを主画面とするかを判断するための情報の送信要求を携帯端末４０に送信する。これを受けた携帯端末４０は該情報を画像形成装置１０に送信する。たとえば、携帯端末４０は、最後に操作を受けた時間や、表示中の画面の情報などを該送信要求の返答として画像形成装置１０に送信する。画像形成装置１０は、この情報を受信したら操作パネル３０と携帯端末４０が表示していた画面のうち、いずれを主画面とするかを判断する。その後、画像形成装置１０と携帯端末４０が、自装置の表示モードを連携表示モードに移行し、連携表示を開始する。

操作パネル３０が表示していた画面を主画面にする場合は、画像形成装置１０が、主画面に対応する画面の情報（画面データなど）を携帯端末４０に送信し、これを受けた携帯端末４０は、該情報に基づいて主画面に対応する画面を表示する。

携帯端末４０が表示していた画面を主画面にする場合は、画像形成装置１０が、主画面の情報を取得し、該情報に基づいて主画面に対応する画面を表示部３１に表示する。

次に、連携表示にて操作パネル３０と携帯端末４０がどのような画面を表示するかについて説明する。連携表示を行う場合に操作パネル３０と携帯端末４０がどのような画面を表示するかは、主画面となる画面により決定する。たとえば、
（パターン１）主画面が、並び順の定められた複数の画面の中の一の画面である場合は、主画面とこれに隣接する画面を表示する
（パターン２）主画面を両方の装置を使用して拡張表示する
（パターン３）主画面と、主画面に関連付けされた他の画面を表示する
などのパターンがある。

（パターン３）では、予め各画面に、対応する画面を関連付けして記憶しておき、連携表示を行う場合には、主画面と、主画面に関連付けされた画面を操作パネル３０と携帯端末４０で表示する。たとえば、コピー画面と後処理画面を関連付けしておけば、連携表示にて双方の画面が同時に表示されるので、２つの画面に係る設定を同時に行うことができる。

以下に、上記の（パターン１）と（パターン２）の具体例を挙げるとともに、パターン１、パターン２の場合に採用され得る所定の判断基準について説明する。

（パターン１の具体例）
図５は、画像形成装置１０と、携帯端末４０が表示する画面の一例を示す。図５では、画像形成装置１０と携帯端末４０は、並び順の定められた複数の画面（画面群８０）の中の一の画面を表示している。画面群８０は、横方向に並べられた５２個の画面（画面群８０）で構成されており、左側から順に第１画面、第２画面、第３画面・・・（図中では第Ｘ画面（Ｘは任意の整数）をＮｏＸと記す。）の順番で各画面が並んでいる。

図５では、画像形成装置１０（操作パネル３０）は第３画面を、携帯端末４０は第５０画面を表示している。また、操作パネル３０と携帯端末４０は、画面を横方向（左右）にスクロールさせることで、表示される画面を進めたり、戻したりすることができる。

図６は、画像形成装置１０と携帯端末４０を連携表示モードの状態にした後、第３画面を表示中の操作パネル３０の右側に、第５０画面を表示中の携帯端末４０を並置させようとする様子を示す。

図７では、図６にて操作パネル３０と携帯端末４０が並置された後に、連携表示にて表示される画面を示す。図７では、操作パネル３０の右側に携帯端末４０が並置されており、操作パネル３０と携帯端末４０が画面群８０のうちの連続する２つの画面を表示している。具体的には、図７は、携帯端末４０の表示する第５０画面を主画面とする場合の例であり、携帯端末４０は第５０画面の表示をそのまま継続し、操作パネル３０は、携帯端末４０の左隣にあるので、携帯端末４０の表示する画面の左隣の第４９画面を表示している。

なお、操作パネル３０の表示する第３画面を主画面とする場合は、操作パネル３０は第３画面の表示をそのまま継続し、携帯端末４０は、操作パネル３０の右隣りにあるので、第３画面の右隣の第４画面を表示する。

連携表示にて、主画面に隣接する左右の画面のうち、いずれが主画面に対応する画面として表示されるのかは、操作パネル３０と携帯端末４０の相対位置関係により決定する。具体的には、操作パネル３０と携帯端末４０の並び方向と、主画面と、主画面に対応する画面（連続する２つの画面）の並び方向が一致するように決定する。図７では、操作パネル３０は、主画面（第５０画面）を表示する携帯端末４０の左側に位置しているので、第５０画面の左隣の画面（第４９画面）を表示している。なお、携帯端末４０を操作パネル３０の左側に並置した場合は、操作パネル３０は、携帯端末４０の右隣にあるので、携帯端末４０の表示する画面（第５０画面）の右隣の第５１画面を表示する。

次に、（パターン１）の場合を基に、所定の判断基準となる判断基準１〜５について説明する。

＜判断基準１、連携表示を開始する前の最後の操作を受けた装置が表示していた画面を主画面とする場合＞
判断基準１では、操作パネル３０と携帯端末４０のうち、操作パネル３０と携帯端末４０が並置される直前に最後の操作を受けた装置、または並置された直後であって連携表示が開始されるまでの間に最後の操作を受けた装置が表示していた画面を主画面とする。なお、本発明の実施の形態では、操作パネル３０と携帯端末４０が並置された直後であって連携表示が開始されるまでの間に受けた最後の操作とは、該並置後に最初に受けた操作とする。この判断基準を採用する場合について図８、図９を参照しつつ説明する。

図８では、ユーザが携帯端末４０を操作しながら操作パネル３０に近づいてくる様子を示す。ここでは、オフィスなどにおいてユーザが携帯端末４０にて印刷に係る設定操作を行いながら、自席から画像形成装置１０に向かって移動しているものとする。この場合、ユーザは、操作パネル３０に携帯端末４０を並置させた後も、携帯端末４０にて設定操作を継続することが想定される。よって、画像形成装置１０は、操作パネル３０と携帯端末４０が並置される直前に携帯端末４０が最後の操作を受けていた場合、もしくは並置された直後に携帯端末４０が最初の操作を受けた場合は、携帯端末４０の表示していた画面を主画面とする。

なお、ユーザが画像形成装置１０にて設定操作を行っている途中、操作パネル３０の視認性を向上させるために、携帯端末４０を取り出して操作パネル３０に並置させ、連携表示を行わせる場合は、該並置後も、画像形成装置１０（操作パネル３０）にて設定操作を継続することが想定される。よって、画像形成装置１０は、操作パネル３０と携帯端末４０が並置される直前に操作パネル３０が最後の操作を受けた場合、もしくは並置された直後に操作パネル３０が最初の操作を受けた場合は、操作パネル３０の表示していた画面を主画面とする。

図９は、図８にて操作パネル３０と携帯端末４０を並置させた直後において、携帯端末４０が最初の操作を受けた場合に、連携表示にて表示される画面を示す。ここでは、画像形成装置１０が、携帯端末４０の表示していた画面を主画面とすると判断しており、操作パネル３０の表示する画面を、携帯端末４０の表示する画面（第５０画面）に隣接する画面（第４９画面）に切り替えている。携帯端末４０は第５０画面の表示をそのまま継続している。

操作パネル３０と携帯端末４０の表示する画面のうち、いずれの画面を主とする画面にするかの判断は、両装置が並置される直前に受けた最後の操作と、並置された直後に受ける最初の操作のうちのいずれに基づいて行ってもよく、本発明の実施の形態では、ユーザが予め設定することができるものとする。

両装置が並置される直前の最後の操作のみに基づいて、上記の判断を行う場合、画像形成装置１０が、自装置に対して携帯端末４０が並置されたことを検知した直後に、携帯端末４０が最後に操作を受けた時間の情報を取得し、その取得した情報の示す時間と、自装置が最後に操作を受けた時間とを比較して、いずれの装置が、両装置が並置される直前の最後の操作を受けたかを判断する。

両装置が並置された直後の最初の操作のみに基づいて、上記の判断を行う場合、画像形成装置１０が、自装置に対して携帯端末４０が並置されたことを検知した後、以下の（Ａ）と（Ｂ）の条件のうちのいずれかが成立するのを待つ。
（Ａ）操作パネル３０がユーザから操作を受ける
（Ｂ）携帯端末４０から、ユーザの操作を受けたことの報告を受信する
そして、（Ａ）が成立した場合は、操作パネル３０が表示していた画面を主画面にする。（Ｂ）が成立した場合は、携帯端末４０が表示していた画面を主画面にする。

両装置が並置される直前の最後の操作と、両装置が並置された直後の最初の操作の両方に基づいて上記の判断を行ってもよい。具体的には、両装置が並置された後、一定時間内（たとえば５秒以内）に、（Ａ）と（Ｂ）のいずれかの条件が成立した場合は、両装置が並置された直後の最初の操作に基づいて上記の判断を行い、一定時間内（たとえば５秒以内）に、（Ａ）と（Ｂ）のいずれの条件も成立しなかった場合は、両装置が並置される直前の最後の操作に基づいて上記の判断を行う。

また、操作パネル３０と携帯端末４０のうち、いずれの装置も並置される直前に操作を受けていなければ、（Ａ）と（Ｂ）のいずれかの条件が成立するのを待って、成立した条件に基づいて上記の判断を行い、少なくともいずれか一方の装置が並置される直前に操作を受けていた場合は、並置される直前の最後の操作に基づいて上記の判断を行うようにしてもよい。

なお、最後の操作を受けてから、連携表示を開始するまでに一定以上の時間が経過している場合は、該操作と連携表示の開始後に受ける操作に関係性が無い可能性が高い。よって、両装置が並置される直前の最後の操作に基づいて上記の判断を行う場合においては、操作パネル３０と携帯端末４０が並置されても、並置される直前の最後の操作を受けてから、連携表示を開始するまでに一定以上の時間が経過していたら連携表示を行わない。たとえば、操作パネル３０と携帯端末４０が最後の操作を受けてから、一定以上の時間の経過後に、両装置が並置された場合は、連携表示を行わない。

本発明の実施の形態では、判断基準１を採用する場合においては、操作パネル３０と携帯端末４０が並置される直前に受けた最後の操作、および並置された直後に受ける最初の操作は、いずれの装置が表示していた画面を主画面とするかの選択操作ではなく、印刷に係る設定操作や、画面遷移に係る操作などのような通常の操作とする。

＜判断基準２、予め特定の操作を受けた装置が表示していた画面を主画面とする場合＞
判断基準２では、操作パネル３０と携帯端末４０のうち、並置される前に特定の操作を受けた装置が表示していた画面を主画面にする。図１０、図１１は、操作パネル３０と携帯端末４０が並置されるまでに、特定の操作を受けていた装置（ここでは優先釦６０が選択されていた装置）が表示していた画面を主画面にする場合を示す。図１０、図１１では、並置される前に、操作パネル３０がコピー画面１を、携帯端末４０がＦＡＸ画面３を表示している。

図１０では、携帯端末４０の画面上で優先釦６０が選択された状態で、操作パネル３０と携帯端末４０が並置されている。携帯端末４０は、操作パネル３０に並置されたら、優先釦６０が選択された状態であることを画像形成装置１０に通知する。画像形成装置１０は、該通知に基づいて、携帯端末４０の表示していた画面を主画面にすると判断する。図１０では、連携表示により、携帯端末４０の画面（ＦＡＸ画面３）の表示は、そのまま維持され、操作パネル３０の表示する画面は、ＦＡＸ画面３に隣接する画面（ＦＡＸ画面２）に切り替わっている。

図１１では、操作パネル３０の画面上で優先釦６０が選択された状態で、操作パネル３０と携帯端末４０が並置されている。操作パネル３０の画面上で優先釦６０が選択されているので、画像形成装置１０は、操作パネル３０と携帯端末４０が並置されたら、操作パネル３０の表示していた画面を主画面とすると判断する。図１１では、連携表示により、操作パネルの画面（コピー画面１）の表示はそのまま維持され、携帯端末４０の表示する画面が、コピー画面１に隣接する画面（コピー画面２）に切り替わっている。

＜判断基準３、ユーザから主画面にする画面の選択を受ける場合＞
判断基準３は、操作パネル３０と携帯端末４０が並置された後に、ユーザから両装置のうちのいずれが表示していた画面を主画面とするかの選択を受け、その選択された装置が表示していた画面を主画面にする。判断基準３は、たとえば、判断基準１、判断基準２などで、操作パネル３０と携帯端末４０が表示している画面のうちのいずれの画面を主画面にするか判断できない場合等に採用される。図１２〜図１４は、操作パネル３０と携帯端末４０を並置させた後に、上記の選択を、ユーザから受ける様子を示す。

図１２は、操作パネル３０が、主画面を選択するための２つの選択釦（ＭＦＰ釦６１、タブレット釦６２）を表示する様子を示す。図１３は、携帯端末４０が、主画面を選択するための２つの選択釦（ＭＦＰ釦６１、タブレット釦６２）を表示する様子を示す。図１４は、操作パネル３０と携帯端末４０の双方が、主画面を選択するための２つの選択釦（ＭＦＰ釦６１、タブレット釦６２）を表示する様子を示す。

ユーザは、ＭＦＰ釦６１とタブレット釦６２のうちのいずれかの選択釦を選択する。ＭＦＰ釦６１が選択された場合は、操作パネル３０の画面を主画面とすると判断し、タブレット釦６２が-選択された場合は、携帯端末４０が表示していた画面を主画面とすると判断する。

なお、いずれの装置が表示していた画面を主画面とするかについての選択を受ける方法は上記の例に限らない。たとえば、音声入力による選択を受けてもよいし、他の装置から選択指示を受けてもよい。

＜判断基準４、操作の重要度で判断する場合＞
判断基準４では、操作パネル３０と携帯端末４０が受けた操作の重要度に基づいて、操作パネル３０と携帯端末４０が表示していた画面のうちのいずれを主とする画面にするのかを判断する。たとえば、携帯端末４０と操作パネル３０の双方が異なるユーザから同時に操作を受けている状況で操作パネル３０と携帯端末４０が並置された場合、該並置の直前に操作パネル３０が最後に受けた操作と、携帯端末４０が最後に受けた操作のうち、重要度の高い操作を受けた方の装置が表示していた画面を主画面とする。

たとえば、操作の種類ごとに重要度が設定されている場合、ファイルを閲覧する操作よりも、設定操作の重要度が高く設定されていれば、その設定操作に係る操作を受けた方の装置が表示していた画面が主画面となり、連携表示が開始された際に、該設定操作に係る設定内容がリセットされずに残る。

操作の重要度の判定をするための要素は操作の種類に限らない、たとえば、設定の種類や（印刷設定か本体設定かＦＡＸ設定かコピー設定かなど）、設定された項目数、設定操作にかけた時間などであってもよい。また、それらを組み合わせて、該判定を行ってもよい。たとえば、操作パネル３０と携帯端末４０の双方で印刷設定に係る設定操作を受けていた場合は、デフォルトの設定から変更された数が多い方の装置が表示していた画面を主画面としたり、操作時間の長い方の装置が表示していた画面を主画面としたりする。

＜判断基準５、表示内容（画面の重要度により判断する場合）＞
判断基準５では、並置する直前に操作パネル３０と携帯端末４０が表示していた画面の重要度により、主画面を判断する。判断基準５を採用する場合、予め画面ごとに重み付けをしておき、並置された場合に操作パネル３０と携帯端末４０が表示していた画面の重要度を比較し、重要度の高い方の画面を主画面と判断する。たとえば、設定画面の重要度を、広告画面やホーム画面よりも高くしておくことで、設定画面にて設定していた内容が、連携表示の開始時にリセットされてしまうといった事態を防ぐことができる。

次に（パターン２：主画面を両方の装置を使用して拡張表示する場合）について具体例を挙げて説明する。

（パターン２の具体例）
図１５と図１６は、一の画面を２つの表示部（３１、５１）を使用して拡張表示する場合の例を示す。図１５は、操作パネル３０の下側に携帯端末４０を並置させる様子を示す。図１５では操作パネル３０は、縦方向に長いリスト６５の上部を表示している。リスト６５は下方向に表示しきれない部分を持っており、画面右端のスクロールバー６４を使用してリスト６５を下方向にスクロールさせると、その部分（続き部分）が表示部３１に表示される。

図１６は、図１５にて操作パネル３０と携帯端末４０を並置させた後に、両装置が連携表示にて表示する画面の例を示す。操作パネル３０は、変わらずリスト６５の上部を表示している。そして携帯端末４０は、操作パネル３０が表示しているリスト６５の続き部分を表示している。

このように、パターン２の連携表示では、主画面となる画面全体を、一方の表示部（３１、または５１）で一度に表示しきれない場合、その表示しきれない部分（続き部分）を他方の装置で表示させ、視認性を向上させる。

次に、（パターン２）の具体例を基に、所定の判断基準となる判断基準６について説明する。

＜判断基準６、表示しきれない部分がある画面、および並置時の相対位置関係によって判断する場合＞
判断基準６では、図１５、図１６のように、操作パネル３０（または携帯端末４０）が表示している画面に表示しきれない部分（以後、続き部分と呼ぶ）がある場合、その画面を主画面にする。

なお、本発明の実施の形態では、続き部分を持つ画面を主画面とする場合、主画面を表示している表示部（３１、または５１）に対して、続き部分がある方向に、他方の装置がある場合のみ、連携表示を行う。図１６では、操作パネル３０が表示しているリスト６５において続き部分は下側に存在しており、携帯端末４０も操作パネル３０の下側に並置されているので連携表示を実行している。

なお、主画面を表示している表示部（３１、または５１）に対して、続き部分がある方向以外の方向に他方の装置が並置された場合は、連携表示を行わない。図１７は、リスト６５を表示する操作パネル３０の右側に携帯端末４０が並置された場合の様子を示す。

図１７では、操作パネル３０が表示しているリスト６５において続き部分は下側に存在している。しかし、携帯端末４０は操作パネル３０の右側に並置されているので、連携表示は行われない。

次に、操作パネル３０と携帯端末４０が、互いに続き部分を持つ画面を表示している場合について、いずれの画面を主画面とするかを判断する方法について説明する。

図１８では、操作パネル３０の表示する画面（リスト６５）と、携帯端末４０の表示する画面（リスト６６）は、双方とも下側に表示しきれない部分（続き部分）を持つ。このような状態で操作パネル３０と携帯端末４０を並置して連携表示を実行する場合、該並置時の相対位置関係により、操作パネル３０と携帯端末４０が表示していた画面のうちのいずれを主画面とするかが切り替わる。

具体的には、操作パネル３０に対して、操作パネル３０の表示している画面の続き部分がある方向に、携帯端末４０が並置されている場合は、操作パネル３０の表示している画面を主画面にし、携帯端末４０に対して、携帯端末４０の表示している画面の続き部分がある方向に、操作パネル３０が並置されている場合は、携帯端末４０の表示している画面を主画面にする。

図１９は、図１８の状態から、携帯端末４０を操作パネル３０の下側に並置させた場合に、連携表示にて表示される画面の一例を示す。ここでは、操作パネル３０の表示するリスト６５の続き部分がある方向（下側）に携帯端末４０が並置されたので、操作パネル３０の表示する画面を主画面として継続して表示させるとともに、携帯端末４０には、操作パネル３０が表示しているリスト６５の続き部分を表示させている。

図２０は、図１８の状態から、携帯端末４０を操作パネル３０の上側に並置させた場合に、連携表示にて表示される画面の一例を示す。ここでは、操作パネル３０の上側に携帯端末４０を並置させたことで、操作パネル３０は、携帯端末４０の表示するリスト６６の続き部分がある方向（下側）に位置している。よって、携帯端末４０の表示する画面を主画面とて継続して表示させるとともに、操作パネル３０には、携帯端末４０が表示しているリスト６６の続き部分を表示させている。

次に、互いの装置にとって表示中の画面の続き部分がある方向に他方の装置が並置されている場合について説明する。図２１では、操作パネル３０の表示する画面（リスト６５）の下側と、携帯端末４０の表示する画面（リスト６６）の上側に、表示しきれない部分（続き部分）がある。操作パネル３０の下側に携帯端末４０が並置された場合、互いの装置にとって、表示中の画面の続き部分がある方向に他方の装置が並置されていることになる。

このような場合は、操作パネル３０と携帯端末４０を並置させた後に、いずれの装置が表示している画面を主画面とするかの選択を、ユーザから受ける。たとえば、図１２のように、操作パネル３０と携帯端末４０のうち、少なくともいずれか一方に、主画面を選択するための２つの選択釦（ＭＦＰ釦６１、タブレット釦６２）を表示し、いずれかの選択釦の選択を受ける。

図２２は、互いの装置にとって、表示中の画面の続き部分がある方向に他方の装置が位置するように操作パネル３０と携帯端末４０を並置した場合に、主画面を選択するための２つの選択釦（ＭＦＰ釦６１、タブレット釦６２）を操作パネル３０が表示する例を示す。ユーザからＭＦＰ釦６１が選択された場合は、操作パネル３０の画面を主画面とすると判断し、タブレット釦６２が選択された場合は、携帯端末４０の画面を主画面とすると判断する。

なお、図１５〜図２２で説明したリスト６５はファイルリスト、リスト６６は宛先リストであったが、履歴リストなど他の種類のリストであってもよい。また、続き部分を持つ画面であれば、リスト（６５、６６）以外の画面でもよい。たとえば、拡大表示させた場合に、その拡大表示により、全体を一の表示部（３１、５１）で表示しきれなくなった画面であってもよい。

（パターン２の具体例２）
図２３は、パターン２の具体例であって、リスト（６５、６６）以外の画面（設定画面６７）を操作パネル３０が表示している様子を示す。図２３では、操作パネル３０が、設定画面６７の上部を表示しており、下方向に表示しきれない部分（続き部分）がある。図２４は、図２３の操作パネル３０の下方向に携帯端末４０を並置した場合の様子を示す。続き部分がある方向に携帯端末４０が並置されたので、携帯端末４０は、連携表示により、続き部分を表示している。

次に、連携表示システム５において、操作パネル３０と携帯端末４０が表示していた画面のうち、いずれの画面を主画面とするかを判断して、連携表示を開始する場合の処理を図２５〜図２７の流れ図に基づいて説明する。なお、図２５〜図２７では、前述の判断基準１、３、６を組み合わせて上記の判断を行っている。図２５〜図２７での判断基準１は、操作パネル３０と携帯端末４０が並置される直前に受けた最後の操作に基づいて上記の判断を行うものとする。また、図中では画像形成装置１０をＭＦＰと記す。

まず、画像形成装置１０は、携帯端末４０が並置されるのを待ち（図２５、ステップＳ００１；Ｎｏ）、並置されたら（ステップＳ００１；Ｙｅｓ）、操作パネル３０に対していずれの方向に携帯端末４０が並置されたのかをセンサ２１を使用して認識し（ステップＳ００２）、操作パネル３０と携帯端末４０の相対位置関係を把握する。

次に、画像形成装置１０は、並置される直前に携帯端末４０が表示していた画面の情報や並置される直前の操作内容に関する情報を取得する（ステップＳ００３）。操作パネル３０と携帯端末４０のうち、並置される直前に最後に操作を受けた装置が表示していた画面を主画面とする場合（ステップＳ００４；Ｙｅs）は、図２６のステップＳ００５に進む。

並置される直前に最後の操作を受けた装置が表示している画面を主画面としない場合（ステップＳ００４；Ｎｏ）は、図２７のステップＳ０１３に進む。

図２６は、図２５の続きの処理であり、ユーザから受けた操作を基に、操作パネル３０と携帯端末４０のうち、いずれの装置が表示していた画面を主画面にするかを判断する。まず、画像形成装置１０は、操作パネル３０と携帯端末４０が最後に操作を受けてから、一定以上の時間が経過しているか否かを調べる（ステップＳ００５）。

一定時間が経過していない場合は（ステップＳ００５；Ｎｏ）、最後に操作を受けた装置が操作パネル３０であるか否かを調べる（ステップＳ０１０）。最後に操作を操作パネル３０で受けていた場合は（ステップＳ０１０；Ｙｅｓ）、操作パネル３０が表示している画面を主画面とし、主画面に対応する内容に表示内容を切り替えるよう携帯端末４０に指示し（ステップＳ０１１）、携帯端末が該指示に従って表示内容を切り替えたら、処理を終了する。

具体的には、携帯端末４０は、切り替え後に表示する画面の画面データや、主画面に対応する画面の情報などを画像形成装置１０から受信し、これらに基づいて表示内容を切り替える。

最後に操作を受けた装置が携帯端末４０である場合は（ステップＳ０１０；Ｎｏ）、携帯端末４０が表示中の画面を主画面とし、操作パネル３０の表示内容を、主画面に対応する内容に切り替え（ステップＳ０１２）、処理を終了する。

操作パネル３０と携帯端末４０が最後に操作を受けてから、一定以上の時間が経過している場合は（ステップＳ００５；Ｙｅｓ）、操作パネル３０と携帯端末４０のうちのいずれの装置が表示している画面を主画面にするかの選択肢（選択釦６１、６２）を操作パネル３０に表示する（ステップＳ００６）。

操作パネル３０が表示している画面を主画面とする選択肢が選択された場合は（ステップＳ００７；Ｙｅｓ）、操作パネル３０が表示中の画面を主画面とし、主画面に対応する内容に表示内容を切り替えるよう携帯端末４０に指示し（ステップＳ００８）、携帯端末が該指示に従って表示内容を切り替えたら処理を終了する。

携帯端末４０が表示している画面を主画面とする選択肢が選択された場合は（ステップＳ００７；Ｎｏ）、携帯端末４０が表示中の画面を主画面とし、操作パネル３０の表示内容を、主画面に対応する内容に切り替え（ステップＳ００９）、処理を終了する。

図２７は、図２５の続きの処理であり、操作パネル３０と携帯端末４０の表示内容、及び相対位置関係に基づいて主画面を判断する。

操作パネル３０が表示している画面に続き部分があり、かつ操作パネル３０に対してその続き部分がある方向に携帯端末４０が位置しており（ステップＳ０１３；Ｙｅｓ）、さらに、携帯端末４０が表示している画面に続き部分があり、かつ携帯端末４０に対してその続き部分がある方向に操作パネル３０が位置している場合（ステップＳ０１４；Ｙｅｓ）は、操作パネル３０と携帯端末４０のいずれが表示している画面を主画面にするかの選択肢（選択釦６１、６２）を操作パネル３０に表示する（ステップＳ０１６）。

操作パネル３０が表示している画面を主画面とする選択肢が選択された場合は（ステップＳ０１７；Ｙｅｓ）、操作パネル３０が表示中の画面を主画面とし、表示内容を主画面に対応する内容に切り替えるよう携帯端末４０に指示し（ステップＳ０１８）、携帯端末が該指示に従って表示内容を切り替えたら、処理を終了する。

携帯端末４０が表示している画面を主画面とする選択肢が選択された場合は（ステップＳ０１７；Ｎｏ）、携帯端末４０が表示中の画面を主画面とし、操作パネル３０の表示内容を、主画面に対応する内容に切り替え（ステップＳ０１９）、処理を終了する。

操作パネル３０が表示している画面に続き部分があり、かつ操作パネル３０に対してその続き部分がある方向に携帯端末４０が位置しており（ステップＳ０１３；Ｙｅｓ）、さらに、携帯端末４０が表示している画面に続き部分がない、または続き部分があっても、携帯端末４０に対してその続き部分がある方向に操作パネル３０が位置していない場合（ステップＳ０１４；Ｎｏ）は、操作パネル３０が表示中の画面を主画面とし、表示内容を主画面に対応する内容に切り替えるよう携帯端末４０に指示し（ステップＳ０１５）、携帯端末が該指示に従って表示内容を切り替えたら、処理を終了する。

操作パネル３０が表示している画面に続き部分がない、または続き部分があっても、操作パネル３０に対してその続き部分がある方向に携帯端末４０が位置していない場合（ステップＳ０１３；Ｎｏ）で、かつ携帯端末４０が表示している画面に続き部分があり、かつ携帯端末４０に対してその続き部分がある方向に操作パネル３０が位置している場合（ステップＳ０２０；Ｙｅｓ）は、携帯端末４０が表示中の画面を主画面とし、操作パネル３０の表示内容を、主画面に対応する内容に切り替え（ステップＳ０２１）、処理を終了する。

操作パネル３０が表示している画面に続き部分がない、または続き部分があっても、操作パネル３０に対してその続き部分がある方向に携帯端４０が位置していない場合（ステップＳ０１３；Ｎｏ）で、かつ携帯端末４０が表示している画面に続き部分がない。または続き部分があっても、携帯端末４０に対してその続き部分がある方向に操作パネル３０が位置していない場合（ステップＳ０２０；Ｎｏ）は、連携表示を行わず、処理を終了する。

図２５〜図２７の処理は、操作パネル３０と携帯端末４０のうちのいずれが表示している画面を主画面とするかを判断する処理の一例であり、他の判断基準で主画面を判断してもよい。

なお、連携表示は、操作パネル３０か携帯端末４０のいずれかが、連携表示を終了する指示を受けた場合や、操作パネル３０と携帯端末４０の並置が解除された場合などに終了する。

このように連携表示システム５では、操作パネル３０と携帯端末４０が連携表示を実行する場合に、画像形成装置１０が、操作パネル３０と携帯端末４０のうちのいずれが表示していた画面を主画面とするかを所定の判断基準に従って判断し、主画面に基づく画面を操作パネル３０と携帯端末４０に表示させる。たとえば、操作パネル３０と携帯端末４０のうちの最後に操作を受けた方が表示していた画面や、続き部分を持つ画面を、主画面と判断し、連携表示を行う。

操作パネル３０と携帯端末４０を並置する直前の最後の操作、もしくは並置した後の最初の操作で上記の判断を行う場合、並置する前後の操作は連携表示と関連性の深い操作なので、該操作に基づいて主画面を選択することで、ユーザの利用用途に沿った連携表示を自動で行うことができる。

特定の操作を受けていた方の装置が表示していた画面を主画面とする判断を行う場合、特定の操作はそれ以外の操作よりさらに連携表示との関連性が深い操作なので、並置する直前の最後の操作、もしくは並置した後の最初の操作など、特定の操作以外の操作に影響されず、ユーザの利用用途に沿った連携表示を自動で行うことができる。

操作パネル３０と携帯端末４０の表示する画面のうち、表示しきれない部分（続き部分）を持つ画面を、主画面とする判断を行う場合、双方の装置が受けた操作の内容に係らず、主画面を表示中の装置で表示しきれない部分が、他方の装置に表示される。すなわち、表示しきれない部分を持つ画面の表示中に別の操作表示装置が並置された場合、表示しきれない部分を、該並置された別の操作表示装置の表示部に表示することをユーザが希望していると推定できるので、上記の動作によりユーザの希望に沿った表示を自動的に行うことができる。

操作パネル３０と携帯端末４０の表示する画面のうちいずれの画面を主画面とするかを適切に装置側で判断できない時に、ユーザから選択を受ける場合は、ユーザの意図しない画面を装置が誤って主画面に選択する可能性が低くなり、ユーザの利用用途に沿った連携表示を行うことができる。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

本発明の実施の形態では、連携表示システム５を構成する画像形成装置１０を第１の操作表示装置、携帯端末４０を第２の操作表示装置の例として説明したが、第１、第２の操作表示装置はこれに限らない。たとえば、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、不揮発メモリ１４と、ネットワーク通信部２０と操作パネル３０で構成される単体のタブレットなどを、第１、第２の操作表示装置としてもよい。また、実施の形態での画像形成装置１０としての機能を果たす単体の表示装置や、操作部と表示部とを備える情報処理装置を実施の形態での画像形成装置１０のように機能させるプログラムや、連携表示方法も本発明に含まれる。

なお、本発明の実施の形態の連携表示システム５では、操作パネル３０側のセンサ２１が、操作パネル３０と携帯端末４０が並置されたことを検出する検出部としての役割を果たしていたが、携帯端末４０側のセンサ４７が操作パネル３０と携帯端末４０が並置されたことを検出する検出部としての役割を果たしてもよいし、検出部を別体に設けてもよい。

本発明の実施の形態の連携表示システム５では、画像形成装置１０が、操作パネル３０と携帯端末４０のうちのいずれに表示されていた画面を主画面とするかを判断し、主画面に基づく画面を操作パネル３０と携帯端末４０に表示させる連携表示を行う連携表示制御部としての役割を果たしていたが、携帯端末４０が連携表示制御部としての役割を果たしてもよいし、サーバなどの外部の装置を設けて、連携表示制御部としての役割を果たさせてもよい。

本発明の実施の形態では、画像群８０は横方向に複数の画面が並べられて構成されていたが、縦方向に並べられて構成されていてもよい。

本発明の実施の形態の判断基準６では、画面に続き部分があり、かつその画面を表示中の装置に対して、該続き部分がある方向に他の装置がある場合にのみ連携表示を行っていたが、他の装置との相対位置関係に係らず、続き部分がある画面を主画面として連携表示を実行してもよい。

３…ＬＡＮ
５…連携表示システム
１０…画像形成装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１６…画像処理部
１７…画像読取部
１８…プリンタ部
１９…ファクシミリ通信部
２０…ネットワーク通信部
２１、２１（Ａ）…センサ
２２…ＡＤＦ
２３…認証部
３０…操作パネル
３１…表示部
３２…操作部
３３…スイッチ部
３４…タッチパネル部
４０…携帯端末
４１…ＣＰＵ
４２…ＲＯＭ
４３…ＲＡＭ
４４…不揮発メモリ
４５…ハードディスク装置
４６…ネットワーク通信部
４７、４７（Ａ）、４７（Ｂ）…センサ
４８…認証部
５０…操作表示部
５１…表示部
５２…操作部
５３…スイッチ部
５４…タッチパネル部
６０…優先釦
６１…ＭＦＰ釦
６２…タブレット釦
６４…スクロールバー
６５…リスト
６６…リスト
６７…設定画面
８０…画面群

Claims (25)

1. 操作部と表示部を備える第１、第２の操作表示装置と、
   前記第１の操作表示装置の表示部と、前記第２の操作表示装置の表示部が並置されたことを検出する検出部と、
   前記検出後、前記第１の操作表示装置と前記第２の操作表示装置のうちのいずれに表示されていた画面を主とするかを所定の判断基準に従って判断し、主とする画面に基づく画面を前記第１の操作表示装置と前記第２の操作表示装置に表示させる連携表示を行う連携表示制御部と、
   を備える
   ことを特徴とする連携表示システム。
2. 前記検出前に前記第１の操作表示装置と前記第２の操作表示装置が受けた操作、または前記検出後に前記連携表示が開始されるまでの間に前記第１の操作表示装置と前記第２の操作表示装置が受けた操作を、前記所定の判断基準に含める
   ことを特徴とする請求項１に記載の連携表示システム。
3. 前記連携表示制御部は、前記第１の操作表示装置と前記第２の操作表示装置のうち、前記検出前に最後に操作を受けた操作表示装置に表示されていた画面を前記主とする画面にする
   ことを特徴とする請求項１または２に記載の連携表示システム。
4. 前記連携表示制御部は、前記検出前の最後の操作を受けてから所定時間が経過している場合は、前記連携表示を行わない
   ことを特徴とする請求項３に記載の連携表示システム。
5. 前記検出前に前記第１の操作表示装置と前記第２の操作表示装置が表示していた表示内容を、前記所定の判断基準に含める
   ことを特徴とする請求項１乃至４のいずれか１つに記載の連携表示システム。
6. 前記連携表示制御部は、前記検出前に、前記第１の操作表示装置と前記第２の操作表示装置が表示していた画面のうち、表示しきれない部分を持つ画面を前記主とする画面にする
   ことを特徴とする請求項１乃至５のいずれか１つに記載の連携表示システム。
7. 前記検出部は、前記検出時に、前記第１操作表示部と前記第２操作表示部の相対位置関係を認識し、
   前記連携表示制御部は、前記主とする画面を表示している表示部に対して、前記表示しきれない部分がある方向に、他方の操作表示装置がある場合のみ、前記連携表示を行う
   ことを特徴とする請求項６に記載の連携表示システム。
8. 前記連携表示制御部は、前記所定の判断基準で前記判断がつかない場合に、前記第１の操作表示装置と前記第２の操作表示装置が表示する画面のうちのいずれか一方の選択をユーザから受け、該選択された画面を前記主とする画面にする
   ことを特徴とする請求項１乃至７のいずれか１つに記載の連携表示システム。
9. 操作部と、
   表示部と、
   操作部と表示部とを備える外部の表示装置とデータの送受信を行う通信部と、
   自装置の表示部と、前記外部の表示装置の表示部が並置されたことを検出する検出部と、
   前記検出後、自装置と前記外部の表示装置のうちのいずれに表示されていた画面を主とするかを所定の判断基準に従って判断し、主とする画面に基づく画面を自装置の表示部と前記外部の表示装置に表示させる連携表示を行う制御部と、
   を備える
   ことを特徴とする表示装置。
10. 前記検出前に自装置と前記外部の表示装置が受けた操作、または前記検出後であって前記連携表示が開始されるまでの間に自装置と前記外部の表示装置が受けた操作を、前記所定の判断基準に含める
    ことを特徴とする請求項９に記載の表示装置。
11. 前記連携表示制御部は、自装置と前記外部の表示装置のうち、前記検出前に最後に操作を受けた表示装置に表示されていた画面を前記主とする画面にする
    ことを特徴とする請求項９または１０に記載の表示装置。
12. 前記連携表示制御部は、前記検出前の最後の操作を受けてから所定時間が経過している場合は、前記連携表示を行わない
    ことを特徴とする請求項１１に記載の表示装置。
13. 前記検出前に自装置と前記外部の表示装置が表示していた表示内容を、前記所定の判断基準に含める
    ことを特徴とする請求項９乃至１２のいずれか１つに記載の表示装置。
14. 前記連携表示制御部は、前記検出前に、自装置と前記外部の表示装置が表示していた画面のうち、表示しきれない部分を持つ画面を前記主とする画面にする
    ことを特徴とする請求項９乃至１３のいずれか１つに記載の表示装置。
15. 前記検出部は、前記検出時に、自装置の表示部と前記外部の表示装置の表示部との相対位置関係を認識し、
    前記連携表示制御部は、自装置の表示部が表示している画面を前記主とする画面にする場合は、自装置の表示部に対して前記表示しきれない部分がある方向に前記外部の表示装置の表示部がある場合のみ、前記連携表示を行い、前記外部の表示装置が表示している画面を前記主とする画面にする場合は、前記外部の表示装置の表示部に対して前記表示しきれない部分がある方向に自装置の表示部がある場合のみ、前記連携表示を行う
    ことを特徴とする請求項１４に記載の表示装置。
16. 前記連携表示制御部は、前記所定の判断基準で前記判断がつかない場合に、自装置と前記外部の表示装置が表示する画面のうちのいずれか一方の選択をユーザから受け、該選択された方の画面を前記主とする画面にする
    ことを特徴とする請求項９乃至１５のいずれか１つに記載の表示装置。
17. 操作部と表示部を備えた情報処理装置を、
    請求項９乃至１６のいずれか１つに記載の表示装置として機能させる
    ことを特徴とするプログラム。
18. 操作部と表示部を備える第１、第２の操作表示装置の表示部が並置、されたことを検出する検出ステップと、
    前記検出後、前記第１の操作表示装置と前記第２の操作表示装置のうちのいずれに表示されていた画面を主とするかを所定の判断基準に従って判断し、主とする画面に基づく画面を前記第１の操作表示装置と前記第２の操作表示装置に表示させる連携表示を行う連携表示ステップと、
    を備える
    ことを特徴とする連携表示方法。
19. 前記検出前に前記第１の操作表示装置と前記第２の操作表示装置が受けた操作、または前記検出後であって前記連携表示が開始されるまでの間に前記第１の操作表示装置と前記第２の操作表示装置が受けた操作を、前記所定の判断基準に含める
    ことを特徴とする請求項１８に記載の連携表示方法。
20. 前記連携表示ステップでは、前記第１の操作表示装置と前記第２の操作表示装置のうち、前記検出前に最後に操作を受けた操作表示装置に表示されていた画面を前記主とする画面にする
    ことを特徴とする請求項１８または１９に記載の連携表示方法。
21. 前記連携表示ステップでは、前記検出前の最後の操作を受けてから所定時間が経過している場合は、前記連携表示を行わない
    ことを特徴とする請求項２０に記載の連携表示方法。
22. 前記検出前に前記第１の操作表示装置と前記第２の操作表示装置が表示していた表示内容を、前記所定の判断基準に含める
    ことを特徴とする請求項１８乃至２１のいずれか１つに記載の連携表示方法。
23. 前記連携表示ステップでは、前記検出前に、前記第１の操作表示装置と前記第２の操作表示装置が表示していた画面のうち、表示しきれない部分を持つ画面を前記主とする画面にする
    ことを特徴とする請求項１８乃至２２のいずれか１つに記載の連携表示方法。
24. 前記検出ステップでは、前記検出時に、前記第１操作表示部と前記第２操作表示部の相対位置関係を認識し、
    前記連携表示ステップでは、前記主とする画面を表示している表示部に対して、前記表示しきれない部分がある方向に、他方の操作表示装置がある場合のみ、前記連携表示を行う
    ことを特徴とする請求項２３に記載の連携表示方法。
25. 前記連携表示ステップでは、前記所定の判断基準で前記判断がつかない場合に、前記第１の操作表示装置と前記第２の操作表示装置が表示する画面のうちのいずれか一方の選択をユーザから受け、該選択された画面を前記主とする画面にする
    ことを特徴とする請求項１８乃至２４のいずれか１つに記載の連携表示方法。