JP6003939B2

JP6003939B2 - 画像処理連携システムと連携方法、携帯端末装置及び画像処理連携プログラム

Info

Publication number: JP6003939B2
Application number: JP2014084070A
Authority: JP
Inventors: 山田　圭; 圭山田; 浩友石井
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2014-04-15
Filing date: 2014-04-15
Publication date: 2016-10-05
Anticipated expiration: 2034-04-15
Also published as: US9875433B2; JP2015204047A; US20150293731A1

Description

この発明は、多機能デジタル複合機であるＭＦＰ（Multi Function Peripherals）等の画像処理装置と無線通信等により接続可能なスマートフォン、タブレット端末等の携帯端末装置を備えた画像処理連携システムと連携方法、携帯端末装置及び画像処理連携プログラムに関する。

近年、スマートフォン、タブレット端末等の携帯端末装置は、電子化された文書を記憶可能であり、時と場所を選ばず、文書を閲覧したり編集したりできる。また、携帯端末装置で編集等したファイルを前記ＭＦＰ等の画像処理装置に送信し、画像処理装置で印刷または保存等の処理を実行させることができる。さらに、画像処理装置のスキャナ部で読み取った原稿の画像データ等からなるファイルを携帯端末装置に送信し、携帯端末装置で編集等を行うこともできる。

しかし、携帯端末装置と画像処理装置とをそれぞれ別個に操作する必要があり、操作が煩雑になるといった問題がある。

そこで、最近、画像処理装置の機能を使用するための画像処理装置側の操作画面を、携帯端末装置の表示部にリモート画面として表示し、携帯端末装置から画像処理装置を連携操作できるようにした、画像処理装置と携帯端末装置との連携システムが提案されている（例えば特許文献１）。この連携システムでは、携帯端末装置の表示部に表示される画像処理装置側のリモート画面は、画像処理装置から送信される画面データに基づいて表示される。

つまり、操作が行われたことを示す情報が携帯端末装置から画像処理装置に送信され、画像処理装置はこの情報に基づいて次の画面データを作成し、この画面データを携帯端末装置に送信し、携帯端末装置はこの画面データに基づいてリモート画面を更新表示する。

ところで、近年、画像処理装置の操作パネルは、表示画面に対してユーザーがジェスチャ操作を行うことにより入力が可能となっており、従来のボタン操作から複数の指を使用したマルチタッチ操作やフリック、ピンチといった複雑な操作が多く利用されている。また、これに伴い、操作パネルの画面サイズも大型化してきており、画面に表示されるボタン等のパーツも増加している。

一方、携帯端末装置も表示画面に対してユーザーがジェスチャ操作を行うことで入力が可能な機種が一般的になっているが、画面サイズは画像処理装置の画面サイズよりも小さいものが多い。

特開２００２−２８１１９５号公報

しかしながら、画像処理装置の画面サイズよりも携帯端末装置の画面サイズの方が小さい場合、画像処理装置の操作画面も縮小されて携帯端末装置に表示されるため、ユーザーはジェスチャ操作を行いにくく、操作性が良くないという問題がある。このため、携帯端末装置の小さい画面であっても、画像処理装置の操作画面に対してユーザーがジェスチャ操作を行い易くするための方策が望まれている。

この発明は、このような実情に鑑みてなされたものであり、携帯端末装置の表示手段に画像処理装置の操作画面をリモート画面として表示したときに、携帯端末装置の表示画面が小さくてもユーザーがジェスチャ操作を行い易くして操作性を向上した画像処理連携システムと連携方法及び携帯端末装置を提供し、さらには前記携帯端末装置のコンピュータに処理を実行させるための画像処理連携プログラムを提供することを課題とする。

上記課題は、以下の手段によって解決される。
（１）相互に接続可能な画像処理装置と携帯端末装置とを備えた画像処理連携システムであって、前記画像処理装置は、ジェスチャ操作による入力が可能な表示手段と、前記表示手段に表示される操作画面を構成する画面データと、前記画面データと対応付けられ、ジェスチャ操作による入力が可能な画面上の１個または複数個のジェスチャ入力可能領域についての情報とを前記携帯端末装置に送信する送信手段と、を備え、前記携帯端末装置は、ジェスチャ操作による入力が可能な表示手段と、前記画面データ及び前記ジェスチャ入力可能領域についての情報を受信する受信手段と、前記受信手段により受信した前記画面データ及び前記ジェスチャ入力可能領域についての情報に基づいて、前記画像処理装置の操作画面を、いずれかのジェスチャ入力可能領域をユーザーが選択できる態様の領域選択画面として表示するとともに、表示された前記領域選択画面において、ユーザーによりいずれかのジェスチャ入力可能領域が選択されたときは、前記選択されたジェスチャ入力可能領域をそのサイズ及び／または表示位置を変更して表示手段に表示させる表示制御手段と、前記表示手段に表示されたジェスチャ入力可能領域に対して、ジェスチャ操作がなされたときは、該ジェスチャ操作に対応する操作情報をサイズ及び／または表示位置の変更前の操作情報に変換する操作情報変換手段と、前記変換された操作情報を前記画像処理装置に送信する送信手段と、を備え、前記画像処理装置は、前記携帯端末装置から送信された操作情報を受信して、該操作情報に対応する処理を行うことを特徴とする画像処理連携システム。
（２）前記画像処理装置と携帯端末装置が、ジェスチャ操作による入力が不可能な表示手段を有する情報処理装置を介して接続可能となされ、該情報処理装置は、前記画像処理装置からの前記画面データ及びジェスチャ入力可能領域についての情報を受信して前記携帯端末装置に転送し、前記携帯端末装置からの操作情報を受信して前記画像処理装置に転送する前項１に記載の画像処理連携システム。
（３）前記ジェスチャ操作は、シングルタッチ操作及びマルチタッチ操作の少なくともいずれかである前項１または２に記載の画像処理連携システム。
（４）前記ジェスチャ入力可能領域についての情報は、各ジェスチャ入力可能領域毎に受け付け可能なジェスチャ操作の情報を含み、前記携帯端末装置の前記操作情報変換手段は、受け付け可能なジェスチャ操作が行われた場合にのみ、該ジェスチャ操作に対応する操作情報をサイズ及び／または表示位置の変更前の操作情報に変換する前項１〜３のいずれかに記載の画像処理連携システム。
（５）前記携帯端末装置は、前記表示手段に表示されたジェスチャ入力可能領域の形状が、携帯端末装置の前記表示手段の画面形状と一定以上相違する場合、ジェスチャ入力を受け付け可能な範囲を前記ジェスチャ入力可能領域を超えて拡大する前項１〜４のいずれかに記載の画像処理連携システム。
（６）前記携帯端末装置の前記表示制御手段は、ジェスチャ入力可能領域が複数個存在する場合、全てのジェスチャ入力可能領域を表示手段に同時に表示するか、指定されたジェスチャ入力可能領域を選択的に表示するかを、予め設定された条件に基づいて切り替えて前記領域選択画面を表示する前項１〜５のいずれかに記載の画像処理連携システム。
（７）前記情報処理装置の表示手段には、前記画像処理装置からの前記画面データに基づいて画像処理装置の操作画面が表示される前項２に記載の画像処理連携システム。
（８）前記情報処理装置の表示手段に表示された前記画像処理装置の操作画面において、前記携帯端末装置でユーザーにより選択されたジェスチャ入力可能領域が他のジェスチャ入力可能領域とは識別可能な態様で表示される前項７に記載の画像処理連携システム。
（９）相互に接続可能な画像処理装置と携帯端末装置とを備えた画像処理連携システムで実行される画像処理連携方法であって、前記画像処理装置は、ジェスチャ操作による入力が可能な表示手段に表示される操作画面を構成する画面データと、前記画面データと対応付けられ、ジェスチャ操作による入力が可能な画面上の１個または複数個のジェスチャ入力可能領域についての情報とを前記携帯端末装置に送信する送信ステップを実行し、前記携帯端末装置は、前記画面データ及びジェスチャ入力可能領域についての情報を受信する受信ステップと、前記受信ステップにより受信した前記画面データ及び前記ジェスチャ入力可能領域についての情報に基づいて、前記画像処理装置の操作画面を、いずれかのジェスチャ入力可能領域をユーザーが選択できる態様の領域選択画面として表示するとともに、表示された前記領域選択画面において、ユーザーによりいずれかのジェスチャ入力可能領域が選択されたときは、前記選択されたジェスチャ入力可能領域をそのサイズ及び／または表示位置を変更して表示手段に表示させる表示制御ステップと、前記表示手段に表示されたジェスチャ入力可能領域に対して、ジェスチャ操作がなされたときは、該ジェスチャ操作に対応する操作情報をサイズ及び／または表示位置の変更前の画面の操作情報に変換する操作情報変換ステップと、前記変換された操作情報を前記画像処理装置に送信する送信ステップと、を実行し、前記画像処理装置は、前記携帯端末装置から送信された操作情報を受信して、該操作情報に対応する処理を行うことを特徴とする画像処理連携方法。
（１０）ジェスチャ操作による入力が可能な表示手段を有する画像処理装置と接続するための接続手段と、ジェスチャ操作による入力が可能な表示手段と、前記画像処理装置側の操作画面を構成する画面データと、前記画面データと対応付けられ、ジェスチャ操作による入力が可能な画面上の１個または複数個のジェスチャ入力可能領域についての情報とを、前記画像処理装置から受信する受信手段と、前記受信手段により受信した前記画面データ及び前記ジェスチャ入力可能領域についての情報に基づいて、前記画像処理装置の操作画面を、いずれかのジェスチャ入力可能領域をユーザーが選択できる態様の領域選択画面として表示するとともに、表示された前記領域選択画面において、ユーザーによりいずれかのジェスチャ入力可能領域が選択されたときは、前記選択されたジェスチャ入力可能領域をそのサイズ及び／または表示位置を変更して表示手段に表示させる表示制御手段と、前記表示手段に表示されたジェスチャ入力可能領域に対して、ジェスチャ操作がなされたときは、該ジェスチャ操作に対応する操作情報をサイズ及び／または表示位置の変更前の操作情報に変換する操作情報変換手段と、前記変換された操作情報を前記画像処理装置に送信する送信手段と、を備えたことを特徴とする携帯端末装置。
（１１）ジェスチャ操作による入力が不可能な表示手段を有する情報処理装置を介して前記画像処理装置と接続可能となされ、前記受信手段は、前記画像処理装置からの前記画面データ及びジェスチャ入力可能領域についての情報を前記情報処理装置から受信し、前記送信手段は、前記操作情報を前記情報処理装置に送信する前項１０に記載の携帯端末装置。
（１２）前記ジェスチャ操作は、シングルタッチ操作及びマルチタッチ操作の少なくともいずれかである前項１０または１１に記載の携帯端末装置。
（１３）前記ジェスチャ入力可能領域についての情報は、各ジェスチャ入力可能領域毎に受け付け可能なジェスチャ操作の情報を含み、前記操作情報変換手段は、受け付け可能なジェスチャ操作が行われた場合にのみ、該ジェスチャ操作に対応する操作情報をサイズ及び／または表示位置の変更前のジェスチャ入力可能領域の操作情報に変換する前項１０〜１２のいずれかに記載の携帯端末装置。
（１４）前記表示手段に表示されたジェスチャ入力可能領域の形状が、前記表示手段の画面形状と一定以上相違する場合、ジェスチャ入力を受け付け可能な範囲を前記ジェスチャ入力可能領域を超えて拡大する前項１０〜１３のいずれかに記載の携帯端末装置。
（１５）前記表示制御手段は、ジェスチャ入力可能領域が複数個存在する場合、全てのジェスチャ入力可能領域を表示手段に同時に表示するか、指定されたジェスチャ入力可能領域を選択的に表示するかを、予め設定された条件に基づいて切り替えて前記領域選択画面を表示する前項１０〜１４のいずれかに記載の携帯端末装置。
（１６）ジェスチャ操作による入力が可能な表示手段を有する携帯端末装置のコンピュータに、ジェスチャ操作による入力が可能な表示手段を有する画像処理装置と接続する接続ステップと、前記画像処理装置の操作画面を構成する画面データと、前記画面データと対応付けられ、ジェスチャ操作による入力が可能な画面上の１個または複数個のジェスチャ入力可能領域についての情報とを、前記画像処理装置から受信する受信ステップと、前記受信ステップにより受信した前記画面データ及び前記ジェスチャ入力可能領域についての情報に基づいて、前記画像処理装置の操作画面を、いずれかのジェスチャ入力可能領域をユーザーが選択できる態様の領域選択画面として表示するとともに、表示された前記領域選択画面において、ユーザーによりいずれかのジェスチャ入力可能領域が選択されたときは、前記選択されたジェスチャ入力可能領域をそのサイズ及び／または表示位置を変更して表示手段に表示させる表示制御ステップと、前記表示手段に表示されたジェスチャ入力可能領域に対して、ジェスチャ操作がなされたときは、該ジェスチャ操作に対応する操作情報をサイズ及び／または表示位置の変更前の操作情報に変換する操作情報変換ステップと、前記変換された操作情報を前記画像処理装置に送信する送信ステップと、を実行させるための画像処理連携プログラム。

前項（１）に記載の発明によれば、画像処理装置の表示手段に表示される操作画面を構成する画面データと、この画面データと対応付けられ、画面上におけるジェスチャ操作による入力が可能な１個または複数個のジェスチャ入力可能領域についての情報とが携帯端末装置に送信される。一方、携帯端末装置は、受信した画面データ及びジェスチャ入力可能領域についての情報に基づいて、いずれかのジェスチャ入力可能領域をユーザーが選択可能な態様で画像処理装置の操作画面を表示手段に表示する。また、ユーザーによりいずれかのジェスチャ入力可能領域が選択されたときは、選択されたジェスチャ入力可能領域がそのサイズ及び／または表示位置を変更されて表示手段に表示される。

つまり、ユーザーが選択したジェスチャ入力可能領域を、従来よりも拡大して表示できまたはジェスチャ操作しやすい表示位置に変更して表示できるから、ユーザーは選択した領域に対してジェスチャ操作を行いやすくなり、操作性が向上する。

なお、表示されたジェスチャ入力可能領域に対して、ジェスチャ操作がなされたときは、該ジェスチャ操作に対応する操作情報が、サイズ及び／または表示位置の変更前の操作情報に変換されて画像処理装置に送信され、画像処理装置で操作情報に対応する処理が行われ、次画面への更新やジョブの実行等が行われる。

前項（２）に記載の発明によれば、ジェスチャ操作による入力が不可能な表示手段を有する情報処理装置と携帯端末装置との間で、画面データ、ジェスチャ入力可能領域についての情報、操作情報等の送受信が行われるから、携帯端末装置を、ジェスチャ操作による入力が不可能な情報処理装置に対してジェスチャ操作による入力を可能とするための支援装置として利用できる。

前項（３）に記載の発明によれば、ジェスチャ操作としてシングルタッチ操作及びマルチタッチ操作の少なくともいずれかが受け付けられる。

前項（４）に記載の発明によれば、各ジェスチャ入力可能領域毎に受け付け可能なジェスチャ操作が設定されているときは、受け付け可能なジェスチャ操作がなさたれときにのみこれが受け付けられ、ジェスチャ操作に対応する操作情報がサイズ等変更前の操作情報に変換されて画像処理装置に送信される。

前項（５）に記載の発明によれば、選択されたジェスチャ入力可能領域の形状が携帯端末装置の表示手段の画面形状と一定以上相違する場合、ジェスチャ入力を受け付け可能な範囲が前記ジェスチャ入力可能領域を超えて拡大されるから、さらにジェスチャ操作を行いやすくなる。

前項（６）に記載の発明によれば、領域選択画面として、複数個のジェスチャ入力可能領域の全てを表示手段に同時に表示するか、指定されたジェスチャ入力可能領域を選択的に表示するかが、予め設定された条件、例えば携帯端末装置の表示手段の画面サイズに応じて切り替えて表示されるから、状況に適した領域選択画面の表示が可能となる。

前項（７）に記載の発明によれば、情報処理装置の表示手段には、画像処理装置からの画面データに基づいて画像処理装置の操作画面が表示されるから、ユーザーはこの画面を見ながら携帯端末装置を操作することができる。

前項（８）に記載の発明によれば、情報処理装置の表示手段に表示された画像処理装置の操作画面において、携帯端末装置でユーザーにより選択されたジェスチャ入力可能領域が他のジェスチャ入力可能領域とは識別可能な態様で表示されるから、選択されたジェスチャ入力可能領域を情報処理装置の画面上で確認することができる。

前項（９）に記載の発明によれば、ユーザーがジェスチャ操作を行いたいジェスチャ入力可能領域を選択すると、選択されたジェスチャ入力可能領域がそのサイズ及び／または表示位置を変更して表示されるから、ユーザーは、選択した領域に対してジェスチャ操作を行いやすくなり、操作性が向上する。

前項（１０）に記載の発明によれば、ユーザーがジェスチャ操作を行いたいジェスチャ入力可能領域を選択すると、選択されたジェスチャ入力可能領域をそのサイズ及び／または表示位置を変更して表示する携帯端末装置となり、ユーザーは、選択した領域に対してジェスチャ操作を行いやすくなる。

前項（１１）に記載の発明によれば、携帯端末装置をジェスチャ操作による入力が不可能な情報処理装置に対して、ジェスチャ操作による入力を可能とするための支援装置として利用できる。

前項（１２）に記載の発明によれば、ジェスチャ操作としてシングルタッチ操作及びマルチタッチ操作の少なくともいずれかが受け付けられる。

前項（１３）に記載の発明によれば、各ジェスチャ入力可能領域毎に受け付け可能なジェスチャ操作が設定されているときは、受け付け可能なジェスチャ操作がなさたれときにのみこれが受け付けられる。

前項（１４）に記載の発明によれば、選択されたジェスチャ入力可能領域の形状が表示手段の画面形状と一定以上相違する場合、ジェスチャ入力を受け付け可能な範囲が前記ジェスチャ入力可能領域を超えて拡大されるから、さらにジェスチャ操作を行いやすくなる。

前項（１５）に記載の発明によれば、領域選択画面として、複数個のジェスチャ入力可能領域の全てを表示手段に同時に表示するか、指定されたジェスチャ入力可能領域を選択的に表示するかが、予め設定された条件、例えば携帯端末装置の表示手段の画面サイズに応じて、切り替えて表示されるから、状況に適した領域選択画面の表示が可能となる。

前項（１６）に記載の発明によれば、ユーザーがジェスチャ操作を行いたいジェスチャ入力可能領域を選択すると、選択されたジェスチャ入力可能領域をそのサイズ及び／または表示位置を変更して表示する処理を、携帯端末装置のコンピュータに実行させることができる。

この発明の一実施形態に係る画像処理連携システムの構成図である。画像処理装置及び携帯端末装置の電気的な構成を示すブロック図である。画像処理装置及び携帯端末装置のファームウェア構成を示すブロック図である。画像処理装置及び携帯端末装置の各ソフトウェアの関係を示す図である。ジェスチャ入力可能領域についての情報の説明図である。各ジェスチャ入力可能領域の範囲を示す座標情報と受け付け可能なジェスチャ操作の内容の詳細説明図である。領域選択画面として、複数のジェスチャ入力可能領域を同時に表示するか、指定されたジェスチャ入力可能領域のみを表示するかを、予め設定された条件に基づいて切り替える場合の説明図である。携帯端末装置の表示画面の形状と、選択されたジェスチャ入力可能領域の形状とが大きく異なる場合の処理についての説明図である。携帯端末装置の動作を示すフローチャートである。画像処理装置の動作を示すフローチャートである。この発明の他の実施形態を説明するための図である。情報処理装置の構成を示すブロック図である。情報処理装置の動作を示すフローチャートである。

以下、この発明の実施形態を図面に基づいて説明する。

図１は、この発明の一実施形態に係る携帯端末装置が用いられた画像処理連携システムの構成図である。

この画像処理連携システムは、画像処理装置１と、スマートフォンやタブレット端末等からなる携帯端末装置２等を備え、これらの画像処理装置１と携帯端末装置２は、無線ＬＡＮルータ３、ネットワーク４を介して相互に接続可能となされている。なお、画像処理装置１と携帯端末装置２は、ＵＳＢインターフェース等により有線接続可能であるが、この実施形態では、無線通信により相互に接続されるものとなされている。

この実施形態では、画像処理装置１としてコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を備えた前述のＭＦＰが用いられている。以下、画像処理装置をＭＦＰとも記す。また、携帯端末装置を携帯端末とも記す。

図２は、前記ＭＦＰ１と携帯端末２の電気的な構成を示すブロック図である。

ＭＦＰ１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３，スキャナ部１０４、プリント部１０５、記憶部１０６、操作パネル部１０７、ＷＩＦＩ（Wireless Fidelity）モジュール１０９、ＬＡＮ（Local Area Network）コントローラ１１０、ＵＳＢインターフェース（ＵＳＢＩ／Ｆ）１１１等を備えている。

前記ＣＰＵ１０１は、ＲＯＭ１０２等に記憶された動作プログラムに従って動作することにより、ＭＦＰ１の全体を統括的に制御するものである。例えば、ＭＦＰ１の各種機能を使用可能に制御するほか、この実施形態では、携帯端末２からの要求に基づいて、自装置の操作画面を構成し携帯端末２にリモート画面として表示させるための画面データや、画面上におけるジェスチャ操作による入力が可能な１個または複数個のジェスチャ入力可能領域についての情報を携帯端末２に送信したり、携帯端末２側で行われたユーザー操作に応じて、ジョブを実行したり次に表示させる操作画面の画面データ等を携帯端末２に送信する。

前記ＲＯＭ１０２は、ＣＰＵ１０１の動作プログラム等を記憶するメモリであり、ＲＡＭ１０３はＣＰＵ１０１が動作プログラムに従って動作するときの作業領域を提供するメモリである。

前記スキャナ部１０４は、図示しないプラテンガラス上にセットされた原稿や、同じく図示しない自動原稿搬送装置にセットされた原稿の画像を読み取って、電子データである画像データを出力するものである。

前記プリント部１０５は、スキャナ部１０４により読み取られた原稿の画像データや、携帯端末２等から送信されたプリントデータを、用紙に印刷するものである。

前記記憶部１０６は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。特に、この実施形態では、操作パネル部１０７に表示される各種の操作画面の表示用データ（画面データ）が記憶されており、ユーザーの操作に応じた操作画面の画面データがＣＰＵ１０１によって記憶部１０６から呼び出され、操作パネル部１０７に表示されたり、携帯端末２に送信される。また、各画面上におけるジェスチャ操作による入力が可能な１個または複数個のジェスチャ入力可能領域についての情報、例えばジェスチャ入力可能領域を示す座標情報や、各ジェスチャ入力可能領域において受け付け可能なジェスチャ操作の種類等が記憶されている。また、スキャナ部１０４で読み取られた画像データからなる文書ファイルや、外部装置から送信された文書ファイル等の複数のファイルも保存されている。

操作パネル部１０７は、ＭＦＰ１を操作したりユーザーにメッセージ等を表示するものであり、スタートキー、ストップキー、リセットキー、テンキー等の機械的なハードウェアキーを有するキー部１０７ａと、タッチ入力操作が可能な液晶等のタッチパネルを備えた表示部１０７ｂを備えている。タッチ操作は通常、タッチした指の数や指の移動に応じて操作内容を規定するジェスチャ操作によって行われる。ジェスチャ操作としては１本の指をタッチさせて行うシングルタッチ操作や、複数本の指をタッチさせて行うマルチタッチ操作がある。シングルタッチ操作の一例として、画面を引き出したりスクロール（ページ送りやページ戻し）するためのフリック操作、画面をスライドさせるためのスライド操作を例示でき、マルチタッチ操作の一例として、画像の変倍（拡大または縮小）や回転等を指示するためのピンチイン操作、ピンチアウト操作などを例示できる。

前記ＷＩＦＩモジュール１０９は、携帯端末２と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ１１０は、パーソナルコンピュータや他のＭＦＰ等の外部装置との間の通信を制御するものである。

前記ＵＳＢインターフェース１１１は携帯端末２と有線接続するためのインターフェースである。

一方、携帯端末２には、スマートフォン、タブレット端末、電子ペーパー等が用いられる。携帯端末２は、ＣＰＵ２０１、ＲＡＭ２０２、記憶部２０３、表示部２０４ａ、操作部２０４ｂ、ＷＩＦＩモジュール２０５、ＬＡＮコントローラ２０６、ＵＳＢインターフェース２０７、ファイル処理部２０８ａ、２０８ｂ、連携部２０９等を備えている。

前記ＣＰＵ２０１は、携帯端末２の全体を統括的に制御するものであり、基本ソフトウェアであるＯＳ（Operating System）や、後述する連携アプリケーションあるいは汎用アプリケーションに従って動作する。

前記ＲＡＭ２０２は、ＣＰＵ２０１が動作プログラムに従って動作するときの作業領域となるメモリである。

前記記憶部２０３は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。この実施形態では、ＭＦＰ１から送信されたリモート画面表示用データ、ジェスチャ入力可能領域についての情報、基本ＯＳ、連携アプリケーション、汎用アプリケーション等のプログラムを記憶している。なお、以下の説明ではアプリケーションを単にアプリともいう。

前記表示部２０４ａは液晶等のデバイスからなり、操作部２０４ｂは表示部２０４ａに設けられ、タッチ入力操作が可能なタッチパネルからなる。タッチ操作はＭＦＰ１の場合と同様に、通常は、タッチした指の数や指の移動に応じて操作内容を規定するジェスチャー操作によって行われる。ジェスチャ操作としてはシングルタッチ操作やマルチタッチ操作があり、シングルタッチ操作の一例としてフリック操作やスライド操作を例示でき、マルチタッチ操作の一例としてピンチイン操作、ピンチアウト操作などを例示できる。

前記ＷＩＦＩモジュール２０５は、携帯端末２をＭＦＰ１と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ２０６は、ユーザー端末等の外部装置との間の通信を制御するものである。また、前記ＵＳＢインターフェース２０７は、携帯端末装置２をＭＦＰ１と有線接続するためのインターフェースである。

前記ファイル処理部２０８ａ、２０８ｂは、ファイルの編集、転送あるいはメール配信等の処理を実施する。以下、ファイル処理部２０８ａ、２０８ｂをいずれもファイル処理部２０８と記す。

前記連携部２０９は、ＭＦＰ１と携帯端末２の間の機能連携を円滑に行うために、ＭＦＰ１の機能を使用できるようにするためのものである。具体的には、ＭＦＰ１のコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を使用するためにＭＦＰ１の操作パネル部１０７に表示される操作画面と同じ操作画面を再生するための画面データをＭＦＰ１から受信し、前記操作画面をリモート画面として表示部２０４に表示したり、リモート画面に表示された操作ボタン等をユーザーが押下したときに、画面上の操作位置の座標を検出して操作情報としてＭＦＰ１に送信する。ＭＦＰ１は前記操作位置の座標を解析することにより、ユーザーの操作指示を特定し、操作指示に応じた動作を実行する。

前記ファイル処理部２０８は、ＣＰＵ２０１が汎用アプリを実行することによりその機能が実現される。つまり、汎用アプリは各種ファイルを処理するファイル処理部２０８を実現するためのソフトウェアであり、例えばファイル編集用アプリ、ファイルを電子メールで配信する機能を有するアプリ、ウェブ上にファイルをストレージする機能を有するアプリ等、各種のアプリを用いることができる。

また、前記連携部２０９は、ＣＰＵ２０１が前述した連携アプリを実行することによりそれらの機能が実現される。つまり、連携アプリはＭＦＰ１と携帯端末２とのスムーズな機能連携を図るためのソフトウェアである。また、連携アプリと汎用アプリとの間で、ファイルの転送やダウンロードを行うことができる。

図３は、ＭＦＰ１と携帯端末２のファームウェア構成を示すブロック図である。

ＭＦＰ１は、アプリ層に、操作パネル（アプリ）１２１やオープンＡＰＩ（Open Application Program Interface）１２２等を備え、共通ＡＰＩ層に、共通ＡＰＩ（Common API）１２５やパネル表示画像生成部１２６等を備え、ハードウェア依存層に、パネル画面生成部１２３、パネル制御部１２４、携帯端末用制御部１２７等を備えている。

さらに、カーネル層に、パネル入力制御部１２９、パネルＬＣＤ制御部１３０、ＪＰＥＧコーダドライバ１３１等を備え、デバイス層に、操作パネル部１０７、ＵＳＢインターフェース部１１１、ＪＰＥＧ圧縮部１３３、ＷＩＦＩモジュール１０９等を備えている。

パネル画面生成部１２３は、携帯端末２から連携操作が行われた場合に、操作パネル部１０７に表示されるＭＦＰ１側の画面データを作成する。

パネル制御部１２４は操作パネル部１０７との通信状態の制御等を行い、携帯端末用制御部１２７は、携帯端末２との連携処理時に、携帯端末２と通信を行うためのインターフェース等を制御する。

パネル入力制御部１２９は、操作パネル部１０７の操作入力に関する制御を行い、パネルＬＣＤ制御部１３０は、操作パネル部１０７の表示部１０７ｂの表示制御を行う。ＪＰＥＧ圧縮部１３３は、ＪＰＥＧコーダドライバ１３１を介して携帯端末用制御部１２７から送信されてきたリモート画面表示用データ等をＪＰＥＧ圧縮するものであり、圧縮されたデータはＵＳＢインターフェース１１１やＷＩＦＩモジュール１０９を介して、携帯端末２に送信される。

一方、携帯端末２は、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３、ブラウザ２２４等の各種アプリケーションを備えたアプリケーション層と、各種のマネージャー２２５、２２６等を備えたプラットフォーム層と、各種のライブラリ２２７及びカーネル２２８を備えたＯＳ層と、ハードウェア２２９によって構成されている。

前記ＪＰＥＧ展開アプリ２２３は、ＭＦＰ１から送信されてきた圧縮データを伸張するものである。

表示画像生成アプリ２２２は、ＭＦＰ１の操作画面を、ジェスチャ入力可能領域をユーザーが選択可能な態様にして携帯端末２の表示部２０４に表示させる。また、ユーザーによりいずれかのジェスチャ入力可能領域が選択されたときは、該選択されたジェスチャ入力可能領域を、そのサイズ及び／または表示位置を表示部２０４の画面サイズに合わせて変更して表示する。この処理については後述する。

前記画像表示アプリ２２１は、ＭＦＰ１から送信されＪＰＥＧ展開アプリ２２３で伸張されたリモート画面表示用データを用いて、ＭＦＰ１の操作画面をリモート画面として作成し表示部２０４に表示させるものである。

なお、この実施形態では、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３は、連携アプリで実現される機能の一部として構成されている。

次に、ＭＦＰ１と携帯端末２を連携操作する場合の処理について説明する。

ユーザーが携帯端末２をＭＦＰ１にネットワーク経由にて無線接続し、携帯端末２とＭＦＰ１を連携して操作しようとしている。携帯端末２とＭＦＰ１の連携操作は、ユーザーが携帯端末２にインストールされている連携アプリを起動することにより、開始される。

図４は、ＭＦＰ１及び携帯端末２の各ソフトウェアの関係を示すものであり、左側にＭＦＰ１側のソフトウェアを、右側に携帯端末２のソフトウェアをそれぞれ示す。

携帯端末２の連携アプリは、携帯端末２のＯＳと汎用のソフトウェアであるアプリソフトの中間に位置しており、ＭＦＰ１からのデータの受信及び受信したデータの処理、ユーザーの操作情報や携帯端末２側の操作画面データの取得等を行うことができ、必要に応じて取得したデータをＭＦＰ１へ送信することができる。つまり、携帯端末２の連携ソフトは、アプリの呼び出し等の携帯端末２側でのユーザー操作受付処理、ＭＦＰ１の操作画面の画面データの受信・表示処理（携帯端末側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、操作の内容を示す操作情報のＭＦＰ１との通信等が挙げられる。

一方、ＭＦＰ１の連携アプリは、ＭＦＰ１側のＯＳやＭＦＰ１用のアプリソフトが全て自社設計／自社カスタマイズであって必要な情報をすべて得られる場合は、ＯＳ−アプリソフト間に位置しなくても良く、ＯＳやアプリソフトと独立でありながら、ＯＳやアプリソフトと通信することにより、必要な情報を入手してもよい。ＭＦＰ１の連携アプリは、アプリの呼び出し等のＭＦＰ１側のユーザー操作受付処理、携帯端末２へのＭＦＰ側画面データの送信処理（ＭＦＰ側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、携帯端末２からの操作情報等の受信・実行処理等が挙げられる。

ユーザーが携帯端末２の表示部２０４に表示された連携操作アイコンを選択し、ＭＦＰ連携を指示すると、携帯端末２の連携ソフトは、登録されているＭＦＰ１への通信を行い、ＭＦＰ１の連携ソフトを呼び出し、画面データの取得を要求する。それにより、連携操作モードが開始され、ＭＦＰ１の表示部１０５ａと携帯端末２の表示部２０４に、ＭＦＰ側の操作画面が表示される。なお、ＭＦＰ１の表示部１０５ａにおける画面表示は行われなくても良い。

携帯端末２からの画面データの取得要求に応じて、ＭＦＰ１は操作画面の画面データと、この画面データに対応付けらた、つまりこの画面データが表示されたときのジェスチャ操作による入力が可能な画面上の１個または複数個のジェスチャ入力可能領域についての情報を携帯端末２に送信する。

ジェスチャ入力可能領域についての情報について、図５を参照して説明する。

図５では、ＭＦＰ１の操作画面は３個のジェスチャ入力可能領域３００ａ〜３００ｃから形成されており、この操作画面の画面データが携帯端末２に送信される場合を示している。ジェスチャ入力可能領域３００ａ〜３００ｃについての情報は、各ジェスチャ入力可能領域３００ａ〜３００ｃの範囲を示す座標情報と、各ジェスチャ入力可能領域３００ａ〜３００ｃが受け付け可能なジェスチャ操作を示す情報と、優先領域情報が含まれる。

図６に、各ジェスチャ入力可能領域３００ａ〜３００ｃの範囲を示す座標情報と受け付け可能なジェスチャ操作の内容を詳しく示す。ジェスチャ入力可能領域３００ａはスライダー操作のみを受け付け可能であり、ジェスチャ入力可能領域３００ｂは上下スクロール操作のみを受け付け可能であり、ジェスチャ入力可能領域３００ｃはピンチ操作とスクロール操作のみを受け付け可能に設定されている。

また、優先領域情報は、携帯端末２にジェスチャ入力可能領域の選択画面を表示させる際に、優先的に表示させるジェスチャ入力可能領域を示す情報である。図５の例では、ジェスチャ入力可能領域３００ｃが優先領域に設定されている。なお、優先領域は設定されていなくても良い。

携帯端末２は、画面データとジェスチャ入力可能領域３００ａ〜３００ｃについての情報をＭＦＰ１から受信すると、これらのデータ及び情報に基づいて、ジェスチャ入力可能領域の選択画面を表示部２０４ａに表示する。上述したように、図５の例ではジェスチャ入力可能領域３００ｃが優先領域に設定されているから、ジェスチャ入力可能領域３００ｃが表示部２０４ａの画面サイズに合わせてそのサイズを変更された状態で、表示部２０４ａの全体に表示される。また、３個のジェスチャ入力可能領域３００ａ〜３００ｃのそれぞれをユーザーが選択するための各選択ボタン４００ａ〜４００ｃが、表示画面の上部に表示されている。

携帯端末２のユーザーが、ジェスチャ操作を行いたい領域を選択するために、例えば選択ボタン４００ａをタッチして選択すると、ジェスチャ入力可能領域３００ｃに代えてジェスチャ入力可能領域３００ａの画面に切り替わる。この際、例えば図８に示すように、ジェスチャ入力可能領域３００ａが画面の上下方向中央部の見やすい位置に表示位置を変更されて表示される。なお、表示位置の変更と共にあるいは表示位置は変更せず、サイズを変更して表示しても良い。

また、ユーザーが選択ボタン４００ｂをタッチして選択すると、ジェスチャ入力可能領域３００ｂの画面に切り替わる。この場合も図示は省略したが、ジェスチャ入力可能領域３００ｂがそのサイズ及び／または表示位置を変更して表示される。

ジェスチャ入力可能領域３００ｃに対してジェスチャ操作を行いたいユーザーは、領域選択画面の初期画面として既にジェスチャ入力可能領域３００ｃが表示されているから、選択ボタン４００ｃを選択する必要はない。

なお、表示されているジェスチャ入力可能領域に対応する選択ボタンを、他の選択ボタンとは異なる表示態様で強調表示してもよい。図５の例では、太枠で囲まれた選択ボタン４００ｃが強調表示されていることを示している。

画面に表示されたジェスチャ入力可能領域に対して、ユーザーがジェスチャ操作を行うと、携帯端末２はその種類を特定し、その領域が受け付け可能なジェスチャ操作であればこれを受け付ける。また、ジェスチャ操作を特定するための具体的内容、例えば操作方向、操作座標、操作速度等を検出する。そして、検出した操作情報を、サイズ及び／または表示位置の変更前の、ＭＦＰ１の画面に対応する操作情報に変換したのち、変換された操作情報とジェスチャ操作の種類、現在選択されている（アクティブとなっている）ジェスチャ入力可能領域の情報等とともに、ジェスチャ入力情報としてＭＦＰ１に送信する。

ＭＦＰ１は、携帯端末２からジェスチャ入力情報を受信すると、ジェスチャ入力情報の内容を解析し、操作情報に対応した動作を行う。具体的には、操作情報に対応する動作が次画面の更新である場合は、次画面を作成するとともに、次画面の画面データとジェスチャ入力可能領域についての情報を携帯端末２に送信する。また、操作情報に対応する動作が印刷ジョブ等の実行指示である場合は、ジョブの実行を指示する。

ユーザーが携帯端末２によるＭＦＰ１との連携処理を終了すると、終了指示が携帯端末２からＭＦＰ１へと送信され、ＭＦＰ１は連携処理を終了する。

このように、この実施形態では、携帯端末２は、ＭＦＰ１から受信した画面データ及びジェスチャ入力可能領域３００ａ〜３００ｃについての情報に基づいて、いずれかのジェスチャ入力可能領域をユーザーが選択可能な態様でＭＦＰ１の操作画面を表示部２０４ａに表示する。また、ユーザーによりいずれかのジェスチャ入力可能領域が選択されたときは、選択されたジェスチャ入力可能領域がそのサイズ及び／または表示位置を変更されて画面に表示される。

携帯端末２の表示部２０４ａの画面サイズがＭＦＰ１の表示部１０７ｂの画面サイズよりも小さい場合、従来では、ＭＦＰ１の操作画面が縮小されて携帯端末２の表示部２０４ａに表示されるが、この実施形態では、ユーザーが選択したジェスチャ入力可能領域を、従来よりも拡大して表示できまたはジェスチャ操作しやすい表示位置に変更して表示できるから、ユーザーは選択した領域に対してジェスチャ操作を行いやすくなり、操作性が向上する。

図５で説明した実施形態では、ジェスチャ入力可能領域３００ｃが優先領域として設定され、携帯端末２はこのジェスチャ入力可能領域３００ｃを優先的に表示する領域選択画面を作成し表示する構成とした。しかし、ＭＦＰ１から送信された複数のジェスチャ入力可能領域を含む画面データを、図７の右側上図のように、ジェスチャ入力可能領域３００ａ〜３００ｃを含んだまま領域選択画面として表示するか、図７の右側下図のように、ジェスチャ入力可能領域３００ａ〜３００ｃの全てではなく、優先情報等により指定されたジェスチャ入力可能領域のみを表示するかを、予め設定された条件に基づいて切り替えてもよい。

予め設定された条件とは、例えば携帯端末２の表示部２０４ａの画面サイズや、各ジャスチャ入力可能領域の形状やサイズがジェスチャ入力に十分可能な形状やサイズかどうか、あるいはユーザーによる設定等を挙げることができる。表示部２０４ａの画面サイズが予め設定された閾値以上の場合は、全てのジェスチャ入力可能領域を同時に表示しても、各ジェスチャ入力可能領域に対するジェスチャ入力は比較的容易と考えられることから、全てのジェスチャ入力可能領域を同時に表示する。また、各ジャスチャ入力可能領域の形状が予め設定された形状であるとか、サイズが予め設定された閾値以上のサイズである場合も、各ジェスチャ入力可能領域に対するジェスチャ入力は比較的容易と考えられることから、全てのジェスチャ入力可能領域を同時に表示する。

なお、全てのジェスチャ入力可能領域が同時に表示される場合、いずれかのジェスチャ入力可能領域をタップ等することで、そのジェスチャ入力可能領域が選択されたものと判断して、そのジェスチャ入力可能領域の表示画面に切り替える構成としてもよい。

また、図８に示すように、横長帯状のジェスチャ入力可能領域３００ａが選択されて表示されたような場合、ジェスチャ入力可能領域３００ａの縦の長さが、携帯端末２の表示部２０４ａの画面の縦の長さに比較して極めて小さく、このためジェスチャ入力可能領域３００ａの形状が表示部２０４ａの画面形状とは著しく相違する。このため、表示位置やサイズの変更だけでは、ピンチ操作等のジェスチャ操作を行う場合にはやはり操作性が良くない。

そこで、ジェスチャ入力可能領域の形状が、表示部２０４ａの画面の形状と予め設定された閾値以上に相違する場合は、携帯端末２は、表示部２０４ａの例えば画面全体をジェスチャ入力を受け付け可能な領域に拡大設定する構成とすることも推奨される。これにより、ジェスチャ操作の受け付け範囲が拡大し、さらにジェスチャ操作を行いやすくなる。勿論、画面全体に拡大しなくても良いし、あるいはこのような設定を行わなくても良い。

図９は携帯端末２の動作を説明するためのフローチャートである。このフローチャートに示される動作は、携帯端末２のＣＰＵ２０１が連携アプリや動作プログラムに従って動作することにより実行される。

ステップＳ１０１では、ユーザー操作に基づいて画面データの取得要求をＭＦＰ２に送信する。ステップＳ１０２では、ＭＦＰ２から画面データ及びジェスチャ入力可能領域についての情報を受信したかどうかを判断する。受信していなければ（ステップＳ１０２でＮＯ）、受信するのを待つ。

受信すると（ステップＳ１０２でＹＥＳ）、ステップＳ１０３で、画面データ及びジェスチャ入力可能領域についての情報に基づいて、領域選択画面を作成し表示する。この際、ジェスチャ入力可能領域が複数個存在する場合は、全てのジェスチャ入力可能領域を同時に表示するか、優先指定等された指定されたジェスチャ入力可能領域を選択的に表示するかを、予め設定された条件に応じて切り替えて表示する。

次いで、ステップＳ１０４で、ユーザーによりジェスチャ入力可能領域が選択されるのを待つ。なお、ジェスチャ入力可能領域が選択されることなく、直接にジェスチャ操作が行われた場合は、そのままステップＳ１０８でジャスチャ操作を受け付ければ良い。

ジェスチャ入力可能領域が選択されると（ステップＳ１０４でＹＥＳ）、ステップＳ１０５で、選択されたジェスチャ入力可能領域をそのサイズ及び／または表示位置を変更して表示部２０４ａに表示する。

次に、ステップＳ１０６で、選択されたジェスチャ入力可能領域の形状が、表示部２０４ａの画面の形状と予め設定された閾値以上に相違するかどうかを判断する。相違しなければ（ステップＳ１０６でＮＯ）、ステップＳ１０８に進む。相違する場合（ステップＳ１０６でＹＥＳ）、ステップＳ１０７で、表示部２０４ａの画面全体をジェスチャ入力を受け付け可能な領域に設定したのち、ステップＳ１０８に進む。

ステップＳ１０８ではジェスチャ操作がなされるのを待つ（ステップＳ１０８でＮＯ）。ジェスチャ操作がなされると（ステップＳ１０８でＹＥＳ）、ステップＳ１０９で、そのジェスチャ操作の種類を特定し、ジェスチャ入力可能領域にとって受け付け可能なジェスチャ操作かどうかを判断する。受け付け可能なジェスチャ操作でない場合（ステップＳ１０９でＮＯ）、ステップＳ１１３で、再操作を促すメッセージを表示した後、ステップＳ１０８に戻る。

受け付け可能なジェスチャ操作である場合（ステップＳ１０９でＹＥＳ）、ステップＳ１１０に進み、ジェスチャ操作を特定するための具体的内容、例えば操作方向、操作座標、操作速度等を検出するとともに、検出した操作情報を、ＭＦＰ１の画面に対応する操作情報に変換する。そして、ステップＳ１１１で、変換された操作情報とジェスチャ操作の種類等をジェスチャ入力情報としてＭＦＰ１へ送信する。

次に、ステップＳ１１２で、連携操作の終了が指示されたかとうかを調べ、指示されていなければ（ステップＳ１１２でＮＯ）、次の画面データ等を受信するためにステップＳ１０２に戻る。連携操作の終了が指示された場合（ステップＳ１１２でＹＥＳ）、処理を終了する。

図１０はＭＦＰ１の動作を示すフローチャートである。この動作はＭＦＰ１のＣＰＵ１０１が動作プログラムに従って動作することにより実行される。

ステップＳ２０１では、携帯端末２から画面データの取得要求があるのを待ち（ステップＳ２０１でＮＯ）、取得要求があると（ステップＳ２０１でＹＥＳ）、ステップＳ２０２で、画面データ及びジェスチャ入力可能領域についての情報を携帯端末２に送信する。

次いでステップＳ２０３では、携帯端末２から送信されるジェスチャ入力情報を受信したかどうかを調べる。受信しなければ（ステップＳ２０３でＮＯ）、ステップＳ２０７に進む。受信すると（ステップＳ２０３でＹＥＳ）、ステップＳ２０４でジェスチャ入力情報を解析し、ステップＳ２０５で、対応する操作が次画面への画面更新かどうかを判断する。次画面への画面更新であれば（ステップＳ２０５でＹＥＳ）、ステップＳ２０２に戻り、次画面の画面データ及びジェスチャ入力可能領域についての情報を携帯端末２に送信する。

次画面への画面更新でなければ（ステップＳ２０５でＮＯ）、ステップＳ２０６で、操作情報に応じたジョブ実行等の処理を行った後、ステップＳ２０７に進み、終了指示があったかどうかを判断する。終了指示がなければ（ステップＳ２０７でＮＯ）、ステップＳ２０３に戻り、終了指示があれば（ステップＳ２０７でＹＥＳ）、処理を終了する。

図１１は、この発明の他の実施形態を説明するための図である。この実施形態では、ＭＦＰ１とパーソナルコンピュータからなるユーザー端末装置としての情報処理装置５が、ネットワーク４を介して接続されている。また、情報処理装置５はジェスチャ入力が不可能であり、携帯端末２が情報処理装置５のジェスチャ入力支援装置として使用されるものとなされている。

即ち、情報処理装置５は、ＭＦＰ１から、画面データ及びジェスチャ入力可能領域についての情報を受信する。情報処理装置５の表示装置５５には、ＭＦＰ１から送信された画面データが表示されており、この画面テータには３個のジェスチャ入力可能領域５００ａ〜５００ｃが表示されている。

情報処理装置５と携帯端末２とはブルートゥース（登録商標）等により無線接続されている。情報処理装置５は携帯端末２に、ＭＦＰ１から受信した画面データ及びジェスチャ入力可能領域についての情報をそのまま送信する。

画面データ及びジェスチャ入力可能領域についての情報を受信した携帯端末２の動作は、図５〜図１０で説明した実施形態と同様に実行される。つまり、携帯端末２の表示部２０４ａには、ユーザーが選択したジェスチャ入力可能領域が表示される。

ユーザーが携帯端末２の画面上に表示されたジェスチャ入力可能領域に対して受け付け可能なジェスチャ操作を実行すると、ジェスチャ入力情報が携帯端末２から情報処理装置５に送信される。ジェスチャ入力情報の内容も、図５〜図１０で説明した実施形態と同じである。

ジェスチャ入力情報を受信した情報処理装置５は、受信したジェスチャ入力情報をＭＦＰ１に転送する。ジェスチャ入力情報を受信したＭＦＰ１の動作も、図５〜図１０で説明した実施形態と同じである。

このように、この実施形態では、情報処理装置２は、ＭＦＰ１から受信した画面データ、ジェスチャ入力可能領域についての情報を携帯端末２に送信し、携帯端末２から送信されたジェスチャ入力情報をＭＦＰ１に転送するから、情報処理装置２がジェスチャ入力機能を有していなくても、ユーザーは携帯端末２を用いてＭＦＰ１の操作画面に対するジェスチャ入力を容易に行うことができる。つまり携帯端末２を情報処理装置５のジェスチャ入力支援装置として使用することができる。また、情報処理装置５の表示装置５５にＭＦＰ１の操作画面が表示されるから、ユーザーはこの操作画面を確認しながら、携帯端末２の画面に対してジェスチャ操作を行うことができ、操作性が良くなる。

このとき、携帯端末２から情報処理装置５に、ユーザーが選択したジェスチャ入力可能領域についての情報が転送され、情報処理装置５は表示装置５５に表示されたＭＦＰ１の操作画面のうち、選択されたジェスチャ入力可能領域を他のジェスチャ入力可能領域とは識別できる態様で表示するのがよい。図１１の例では、太枠で囲まれたジェスチャ入力可能領域５００ｃが異なる態様で表示されていることを示している。

図１２は、情報処理装置５のシステム構成を示すブロック図である。

情報処理装置５は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、記憶部５４、表示装置５５、入力装置５６、ネットワークインターフェース部（ネットワークＩ/F部）５７、無線通信部５９等を備え、システムバス５８を介して互いに接続されている。

ＣＰＵ５１は、ＲＯＭ５２や記憶部５４等に保存されているプログラムを実行することにより、情報処理装置５の全体を制御する。ＲＯＭ５２は、ＣＰＵ５１が実行するためのプログラムやその他のデータを保存する記憶媒体である。

ＲＡＭ５３は、ＣＰＵ５１が動作用プログラムに従って動作する際の作業領域を提供する記憶媒体である。記憶部５４は、ハードディスク等の記憶媒体からなり、各種のデータ、アプリケーションプログラム等が記憶されている。表示装置５５は液晶表示装置等からなり、ＭＦＰ１の操作画面、各種のメッセージ及びユーザーに対する入力受付画面、選択画面等を表示する。

入力装置５６は、ユーザによる入力操作に用いられるもので、キーボードやマウス等からなる。ネットワークインターフェース部５７は、ＭＦＰ１との間でネットワーク４を介して、データの送受信を行う通信手段として機能する。無線通信部５９は、携帯端末２との間で無線通信を行う。

図１３は、図１１に示した実施形態における情報処理装置５の動作を説明するためのフローチャートである。

ステップＳ３０１では、ＭＦＰ２から画面データ及びジェスチャ入力可能領域についての情報を受信したかどうかを判断する。受信していなければ（ステップＳ３０１でＮＯ）、ステップＳ３０４に進む。受信すると（ステップＳ３０１でＹＥＳ）、ステップＳ３０４で、受信したデータ等を携帯端末２に転送したのち、ステップＳ３０３で、ＭＦＰ１からの画面データを表示装置５５に表示する。次いでステップＳ３０４に進む。

ステップＳ３０４では、情報処理装置５において入力装置５６等によりユーザー操作がなされたかどうかを判断する。操作があれば（ステップＳ３０４でＹＥＳ）、ステップＳ３０６で、操作情報をＭＦＰ１に送信したのち、ステップＳ３０８に進む。操作がなければ（ステップＳ３０４でＮＯ）、ステップＳ３０５で、携帯端末２からジェスチャ入力情報を受信したかどうかを判断する。受信していれば（ステップＳ３０５でＹＥＳ）、ステップＳ３０７で、ジェスチャ入力情報をＭＦＰ１に転送したのち、ステップＳ３０８に進む。受信していなければ（ステップＳ３０５でＮＯ）、そのままステップＳ３０８に進む。

ステップＳ３０８では、終了指示がなされたかどうかを判断し、終了指示がなされなければ（ステップＳ３０８でＮＯ）、ステップＳ３０１に進む。終了指示がなされると（ステップＳ３０８でＹＥＳ）、処理を終了する。

１画像処理装置
２携帯端末装置
１０１ＣＰＵ
１０２ＲＯＭ
１０７ｂ表示部
２０１ＣＰＵ
２０２ＲＡＭ
２０３記憶部
２０４ａ表示部
２０９連携部
３００ａ〜３００ｃジェスチャ入力可能領域

Claims

相互に接続可能な画像処理装置と携帯端末装置とを備えた画像処理連携システムであって、
前記画像処理装置は、
ジェスチャ操作による入力が可能な表示手段と、
前記表示手段に表示される操作画面を構成する画面データと、前記画面データと対応付けられ、ジェスチャ操作による入力が可能な画面上の１個または複数個のジェスチャ入力可能領域についての情報とを前記携帯端末装置に送信する送信手段と、
を備え、
前記携帯端末装置は、
ジェスチャ操作による入力が可能な表示手段と、
前記画面データ及び前記ジェスチャ入力可能領域についての情報を受信する受信手段と、
前記受信手段により受信した前記画面データ及び前記ジェスチャ入力可能領域についての情報に基づいて、前記画像処理装置の操作画面を、いずれかのジェスチャ入力可能領域をユーザーが選択できる態様の領域選択画面として表示するとともに、表示された前記領域選択画面において、ユーザーによりいずれかのジェスチャ入力可能領域が選択されたときは、前記選択されたジェスチャ入力可能領域をそのサイズ及び／または表示位置を変更して表示手段に表示させる表示制御手段と、
前記表示手段に表示されたジェスチャ入力可能領域に対して、ジェスチャ操作がなされたときは、該ジェスチャ操作に対応する操作情報をサイズ及び／または表示位置の変更前の操作情報に変換する操作情報変換手段と、
前記変換された操作情報を前記画像処理装置に送信する送信手段と、
を備え、
前記画像処理装置は、前記携帯端末装置から送信された操作情報を受信して、該操作情報に対応する処理を行うことを特徴とする画像処理連携システム。
前記画像処理装置と携帯端末装置が、ジェスチャ操作による入力が不可能な表示手段を有する情報処理装置を介して接続可能となされ、該情報処理装置は、前記画像処理装置からの前記画面データ及びジェスチャ入力可能領域についての情報を受信して前記携帯端末装置に転送し、前記携帯端末装置からの操作情報を受信して前記画像処理装置に転送する請求項１に記載の画像処理連携システム。
前記ジェスチャ操作は、シングルタッチ操作及びマルチタッチ操作の少なくともいずれかである請求項１または２に記載の画像処理連携システム。
前記ジェスチャ入力可能領域についての情報は、各ジェスチャ入力可能領域毎に受け付け可能なジェスチャ操作の情報を含み、前記携帯端末装置の前記操作情報変換手段は、受け付け可能なジェスチャ操作が行われた場合にのみ、該ジェスチャ操作に対応する操作情報をサイズ及び／または表示位置の変更前の操作情報に変換する請求項１〜３のいずれかに記載の画像処理連携システム。
前記携帯端末装置は、前記表示手段に表示されたジェスチャ入力可能領域の形状が、携帯端末装置の前記表示手段の画面形状と一定以上相違する場合、ジェスチャ入力を受け付け可能な範囲を前記ジェスチャ入力可能領域を超えて拡大する請求項１〜４のいずれかに記載の画像処理連携システム。
前記携帯端末装置の前記表示制御手段は、ジェスチャ入力可能領域が複数個存在する場合、全てのジェスチャ入力可能領域を表示手段に同時に表示するか、指定されたジェスチャ入力可能領域を選択的に表示するかを、予め設定された条件に基づいて切り替えて前記領域選択画面を表示する請求項１〜５のいずれかに記載の画像処理連携システム。
前記情報処理装置の表示手段には、前記画像処理装置からの前記画面データに基づいて画像処理装置の操作画面が表示される請求項２に記載の画像処理連携システム。
前記情報処理装置の表示手段に表示された前記画像処理装置の操作画面において、前記携帯端末装置でユーザーにより選択されたジェスチャ入力可能領域が他のジェスチャ入力可能領域とは識別可能な態様で表示される請求項７に記載の画像処理連携システム。
相互に接続可能な画像処理装置と携帯端末装置とを備えた画像処理連携システムで実行される画像処理連携方法であって、
前記画像処理装置は、
ジェスチャ操作による入力が可能な表示手段に表示される操作画面を構成する画面データと、前記画面データと対応付けられ、ジェスチャ操作による入力が可能な画面上の１個または複数個のジェスチャ入力可能領域についての情報とを前記携帯端末装置に送信する送信ステップを実行し、
前記携帯端末装置は、
前記画面データ及びジェスチャ入力可能領域についての情報を受信する受信ステップと、
前記受信ステップにより受信した前記画面データ及び前記ジェスチャ入力可能領域についての情報に基づいて、前記画像処理装置の操作画面を、いずれかのジェスチャ入力可能領域をユーザーが選択できる態様の領域選択画面として表示するとともに、表示された前記領域選択画面において、ユーザーによりいずれかのジェスチャ入力可能領域が選択されたときは、前記選択されたジェスチャ入力可能領域をそのサイズ及び／または表示位置を変更して表示手段に表示させる表示制御ステップと、
前記表示手段に表示されたジェスチャ入力可能領域に対して、ジェスチャ操作がなされたときは、該ジェスチャ操作に対応する操作情報をサイズ及び／または表示位置の変更前の画面の操作情報に変換する操作情報変換ステップと、
前記変換された操作情報を前記画像処理装置に送信する送信ステップと、
を実行し、
前記画像処理装置は、前記携帯端末装置から送信された操作情報を受信して、該操作情報に対応する処理を行うことを特徴とする画像処理連携方法。
ジェスチャ操作による入力が可能な表示手段を有する画像処理装置と接続するための接続手段と、
ジェスチャ操作による入力が可能な表示手段と、
前記画像処理装置側の操作画面を構成する画面データと、前記画面データと対応付けられ、ジェスチャ操作による入力が可能な画面上の１個または複数個のジェスチャ入力可能領域についての情報とを、前記画像処理装置から受信する受信手段と、
前記受信手段により受信した前記画面データ及び前記ジェスチャ入力可能領域についての情報に基づいて、前記画像処理装置の操作画面を、いずれかのジェスチャ入力可能領域をユーザーが選択できる態様の領域選択画面として表示するとともに、表示された前記領域選択画面において、ユーザーによりいずれかのジェスチャ入力可能領域が選択されたときは、前記選択されたジェスチャ入力可能領域をそのサイズ及び／または表示位置を変更して表示手段に表示させる表示制御手段と、
前記表示手段に表示されたジェスチャ入力可能領域に対して、ジェスチャ操作がなされたときは、該ジェスチャ操作に対応する操作情報をサイズ及び／または表示位置の変更前の操作情報に変換する操作情報変換手段と、
前記変換された操作情報を前記画像処理装置に送信する送信手段と、
を備えたことを特徴とする携帯端末装置。
ジェスチャ操作による入力が不可能な表示手段を有する情報処理装置を介して前記画像処理装置と接続可能となされ、前記受信手段は、前記画像処理装置からの前記画面データ及びジェスチャ入力可能領域についての情報を前記情報処理装置から受信し、前記送信手段は、前記操作情報を前記情報処理装置に送信する請求項１０に記載の携帯端末装置。
前記ジェスチャ操作は、シングルタッチ操作及びマルチタッチ操作の少なくともいずれかである請求項１０または１１に記載の携帯端末装置。
前記ジェスチャ入力可能領域についての情報は、各ジェスチャ入力可能領域毎に受け付け可能なジェスチャ操作の情報を含み、前記操作情報変換手段は、受け付け可能なジェスチャ操作が行われた場合にのみ、該ジェスチャ操作に対応する操作情報をサイズ及び／または表示位置の変更前のジェスチャ入力可能領域の操作情報に変換する請求項１０〜１２のいずれかに記載の携帯端末装置。
前記表示手段に表示されたジェスチャ入力可能領域の形状が、前記表示手段の画面形状と一定以上相違する場合、ジェスチャ入力を受け付け可能な範囲を前記ジェスチャ入力可能領域を超えて拡大する請求項１０〜１３のいずれかに記載の携帯端末装置。
前記表示制御手段は、ジェスチャ入力可能領域が複数個存在する場合、全てのジェスチャ入力可能領域を表示手段に同時に表示するか、指定されたジェスチャ入力可能領域を選択的に表示するかを、予め設定された条件に基づいて切り替えて前記領域選択画面を表示する請求項１０〜１４のいずれかに記載の携帯端末装置。
ジェスチャ操作による入力が可能な表示手段を有する携帯端末装置のコンピュータに、
ジェスチャ操作による入力が可能な表示手段を有する画像処理装置と接続する接続ステップと、
前記画像処理装置の操作画面を構成する画面データと、前記画面データと対応付けられ、ジェスチャ操作による入力が可能な画面上の１個または複数個のジェスチャ入力可能領域についての情報とを、前記画像処理装置から受信する受信ステップと、
前記受信ステップにより受信した前記画面データ及び前記ジェスチャ入力可能領域についての情報に基づいて、前記画像処理装置の操作画面を、いずれかのジェスチャ入力可能領域をユーザーが選択できる態様の領域選択画面として表示するとともに、表示された前記領域選択画面において、ユーザーによりいずれかのジェスチャ入力可能領域が選択されたときは、前記選択されたジェスチャ入力可能領域をそのサイズ及び／または表示位置を変更して表示手段に表示させる表示制御ステップと、
前記表示手段に表示されたジェスチャ入力可能領域に対して、ジェスチャ操作がなされたときは、該ジェスチャ操作に対応する操作情報をサイズ及び／または表示位置の変更前の操作情報に変換する操作情報変換ステップと、
前記変換された操作情報を前記画像処理装置に送信する送信ステップと、
を実行させるための画像処理連携プログラム。