JP6641901B2 - 画像処理装置、遠隔制御方法、および遠隔制御プログラム - Google Patents

Description

この発明は、画像処理装置、遠隔制御方法、および遠隔制御プログラムに関し、特に、遠隔操作装置により遠隔制御される画像処理装置、その画像処理装置によって実行される遠隔制御方法、および遠隔制御プログラムに関する。

近年、スマートフォン、タブレット端末等の携帯情報装置で、複合機（以下「ＭＦＰ」という）で代表される画像処理装置を遠隔操作する技術が知られている。携帯情報装置からＭＦＰに接続し、携帯情報装置でＭＦＰを遠隔操作することが可能である。この遠隔操作を実現する技術として、ＭＦＰで表示している操作画面そのものを携帯情報装置で表示し、携帯情報装置では操作画面中でユーザーにより指示された位置を示す位置情報をＭＦＰに返信することにより、携帯情報装置からＭＦＰを遠隔制御する技術が知られている。

この場合、携帯情報装置において、表示されている画像を変更するスクロール操作等を行う場合、ＭＦＰ１００は画像が時間の経過に伴って変化する動画像を携帯情報装置に送信することなる。この場合、単位時間当たりに送受信するデータ量が多くなるので、データの送信に遅延または欠損が生じる場合があり、操作に対するレスポンスが悪くなるといった問題がある。送信する動画像のデータ量を低減する技術として、特開２００６−２７０３４６号公報には、ネットワークカメラの出力する画像データをネットワークを介して制御装置に配信する映像配信システムであって、一の前記ネットワークカメラから複数の画像データを受信して、前記画像データ毎に異なる目的に利用する制御装置と、撮像した同一の映像データに基づき、前記目的に応じて、色情報、解像度、圧縮率およびフレームレートの仕様のうち少なくとも一つが異なる前記複数の画像データを同時に出力するネットワークカメラと、を備える映像配信システムが記載されている。

しかしながら、携帯情報装置を用いてＭＦＰを遠隔操作するスクロール操作においては、ユーザーが、表示されている画像の内容を確認しながらスクロールさせる場合があり、表示されている部分から離れた部分の画像を探す場合には画像の内容を確認することなくスクロールさせる場合がある。このため、スクロール操作に応答した動画像のデータ量を圧縮する際に、削除する要素を１つに制限すると、ユーザーが所望する動画像を表示することができない場合が生じる場合がある。例えば、動画像の解像度を低減する場合には、画像の内容を確認することができなくなる場合があり、フレームレートを低減する場合には、レスポンスタイムが長くなり、操作に対する応答性が悪くなる場合があるといった問題がある。
特開２００６−２７０３４６号公報

この発明は上述した問題点を解決するためになされたもので、この発明の目的の一つは、携帯情報装置を操作するユーザーによる遠隔操作に対応した表示態様で携帯情報装置に画像を表示させることが可能な画像処理装置を提供することである。

この発明の他の目的は、携帯情報装置を操作するユーザーによる遠隔操作に対応した表示態様で携帯情報装置に画像を表示させることが可能な遠隔制御方法を提供することである。

この発明のさらに他の目的は、携帯情報装置を操作するユーザーによる遠隔操作に対応した表示態様で携帯情報装置に画像を表示させることが可能な遠隔制御プログラムを提供することである。

上述した目的を達成するためにこの発明のある局面によれば、画像処理装置は、携帯情報装置により遠隔操作される画像処理装置であって、携帯情報装置から受信される遠隔操作指令に基づいて、ユーザーによる操作を決定する操作決定手段と、受信される遠隔操作指令に基づいて、ユーザーによる操作の速さを決定する速さ決定手段と、決定された操作に基づいて、コンテンツ中の表示部分を変更することによって表示用画像を生成する画像生成手段と、決定された操作の速さをコンテンツの特徴部分のサイズに対して予め定められたしきい値と比較し、決定された操作の速さがしきい値より大きい場合は表示用画像のフレームレートを優先し、決定された操作の速さがしきい値以下の場合は表示用画像の解像度を優先すると決定する優先度決定手段と、優先度決定手段により解像度を優先すると決定される場合、決定された操作の速さとコンテンツの特徴部分のサイズとに基づいて解像度を決定し、単位時間当たりに携帯情報装置に送信可能なデータ量と決定された解像度とで定まる表示用画像のサイズに基づいてフレームレートを決定し、優先度決定手段によりフレームレートを優先すると決定される場合、決定された操作の速さに基づいてフレームレートを決定し、単位時間当たりに携帯情報装置に送信可能なデータ量と決定されたフレームレートとに基づいて解像度を決定する削減パラメータ決定手段と、生成された表示用画像を決定された解像度に変更する解像度変換手段と、解像度が変更された表示用画像を、決定されたフレームレートで定まるタイミングで携帯情報装置に送信する送信制御手段と、を備える。

この局面に従えば、携帯情報装置から受信される遠隔操作指令に基づいて、ユーザーによる操作の速さを決定し、決定された操作の速さをコンテンツの特徴部分のサイズに対して予め定められたしきい値と比較し、決定された操作の速さがしきい値より大きい場合は表示用画像のフレームレートを優先し、決定された操作の速さがしきい値以下の場合は表示用画像の解像度を優先すると決定する。このため、特徴部分の見易さを基準にしてフレームレートと解像度とのいずれを優先するかを決定することができる。また、解像度を優先すると判断される場合、決定された操作の速さとコンテンツの特徴部分のサイズとに基づいて解像度を決定し、単位時間当たりに送信可能なデータ量と決定された解像度で定まる表示用画像のサイズとに基づいてフレームレートを決定し、フレームレートを優先すると判断される場合、決定された操作の速さに基づいてフレームレートを決定し、単位時間当たりに送信可能なデータ量と決定されたフレームレートとに基づいて解像度を決定する。解像度を優先する場合には解像度を決定した後にフレームレートを決定し、フレームレートを優先する場合にはフレームレートを決定した後に解像度を決定する。このため、解像度を優先する場合に画像を見やすくすることができ、フレームレートを優先する場合に操作に対して画像の動きを合わせることができる。その結果、操作の速さに基づいて、フレームレートと解像度とのいずれを優先するかを決定するので、携帯情報装置を操作するユーザーによる遠隔操作に対応した表示態様で携帯情報装置に画像を表示させることが可能な画像処理装置を提供することができる。

好ましくは、コンテンツの特徴部分のサイズは、コンテンツが文字を含む場合には、文字のサイズである。

この局面に従えば、文字を見やすくするか否かを基準にして、フレームレートと解像度とのいずれを優先するかを決定することができる。

好ましくは、コンテンツの特徴部分のサイズは、コンテンツが画像を含む場合には、エッジ画素間の距離である。

この局面に従えば、画像を見やすくするか否かを基準にして、フレームレートと解像度とのいずれを優先するかを決定することができる。

好ましくは、携帯情報装置が備える表示手段の表示面のサイズに基づいて、コンテンツの特徴部分のサイズを変更するサイズ変更手段を、さらに備える。

この局面に従えば、携帯情報装置の表示面のサイズが異なる場合に、携帯情報装置を操作するユーザーによる操作に対応した表示態様で携帯情報装置に画像を表示させることができる。

この発明の他の局面によれば、遠隔制御方法は、携帯情報装置により遠隔操作される画像処理装置で実行される遠隔制御方法であって、携帯情報装置から受信される遠隔操作指令に基づいて、ユーザーによる操作を決定する操作決定ステップと、受信される遠隔操作指令に基づいて、ユーザーによる操作の速さを決定する速さ決定ステップと、決定された操作に基づいて、コンテンツ中の表示部分を変更することによって表示用画像を生成する画像生成ステップと、決定された操作の速さをコンテンツの特徴部分のサイズに対して予め定められたしきい値と比較し、決定された操作の速さがしきい値より大きい場合は表示用画像のフレームレートを優先し、決定された操作の速さがしきい値以下の場合は表示用画像の解像度を優先すると決定する優先度決定ステップと、優先度決定ステップにおいて解像度を優先すると決定される場合、決定された操作の速さとコンテンツの特徴部分のサイズとに基づいて解像度を決定し、単位時間当たりに携帯情報装置に送信可能なデータ量と決定された解像度とで定まる表示用画像のサイズに基づいてフレームレートを決定し、優先度決定ステップにおいてフレームレートを優先すると決定される場合、決定された操作の速さに基づいてフレームレートを決定し、単位時間当たりに携帯情報装置に送信可能なデータ量と決定されたフレームレートとに基づいて解像度を決定する削減パラメータ決定ステップと、生成された表示用画像を決定された解像度に変更する解像度変換ステップと、解像度が変更された表示用画像を、決定されたフレームレートで定まるタイミングで携帯情報装置に送信する送信制御ステップと、を含む。

この局面に従えば、携帯情報装置を操作するユーザーによる操作に対応した表示態様で携帯情報装置に画像を表示させることが可能な遠隔制御方法を提供することができる。

この発明の他の局面によれば、遠隔制御プログラムは、携帯情報装置により遠隔操作される画像処理装置を制御するコンピューターで実行される遠隔制御プログラムであって、携帯情報装置から受信される遠隔操作指令に基づいて、ユーザーによる操作を決定する操作決定ステップと、受信される遠隔操作指令に基づいて、ユーザーによる操作の速さを決定する速さ決定ステップと、決定された操作に基づいて、コンテンツ中の表示部分を変更することによって表示用画像を生成する画像生成ステップと、決定された操作の速さをコンテンツの特徴部分のサイズに対して予め定められたしきい値と比較し、決定された操作の速さがしきい値より大きい場合は表示用画像のフレームレートを優先し、決定された操作の速さがしきい値以下の場合は表示用画像の解像度を優先すると決定する優先度決定ステップと、優先度決定ステップにおいて解像度を優先すると決定される場合、決定された操作の速さとコンテンツの特徴部分のサイズとに基づいて解像度を決定し、単位時間当たりに携帯情報装置に送信可能なデータ量と決定された解像度とで定まる表示用画像のサイズに基づいてフレームレートを決定し、優先度決定ステップにおいてフレームレートを優先すると決定される場合、決定された操作の速さに基づいてフレームレートを決定し、単位時間当たりに携帯情報装置に送信可能なデータ量と決定されたフレームレートとに基づいて解像度を決定する削減パラメータ決定ステップと、生成された表示用画像を決定された解像度に変更する解像度変換ステップと、解像度が変更された表示用画像を、決定されたフレームレートで定まるタイミングで携帯情報装置に送信する送信制御ステップと、をコンピューターに実行させる。

この局面に従えば、携帯情報装置を操作するユーザーによる操作に対応した表示態様で携帯情報装置に画像を表示させることが可能な遠隔制御プログラムを提供することができる。

本発明の実施の形態の１つにおける画像形成システムの全体概要を示す図である。 ＭＦＰの基本構成の概要を示すブロック図である。 携帯情報装置の構成の概要を示すブロック図である。 本実施の形態におけるＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。 本実施の形態における携帯情報装置が備えるＣＰＵの機能の概要の一例を示すブロック図である。 本実施の形態における遠隔制御処理の流れの一例を示すフローチャートである。 解像度テーブルの一例を示す図である。

以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。

図１は、本発明の実施の形態の１つにおける画像形成システムの全体概要を示す図である。図１を参照して、画像形成システム１は、画像処理装置として機能するＭＦＰ１００，１００Ａ，１００Ｂと、無線局５と、ＭＦＰ１００，１００Ａ，１００Ｂのいずれかを遠隔操作可能な遠隔操作装置として機能する携帯情報装置２００，２００Ａ，２００Ｂと、を含む。ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００，１００Ａ，１００Ｂ、および無線局５は、ネットワーク３に接続される。携帯情報装置２００，２００Ａ，２００Ｂは、無線局５を通して、ネットワーク３に接続される。

ネットワーク３は、ローカルエリアネットワーク（ＬＡＮ）であり、接続形態は有線または無線を問わない。また、ネットワーク３は、ＬＡＮに限らず、ワイドエリアネットワーク（ＷＡＮ）、公衆交換電話網（ＰＳＴＮ）、インターネット等であってもよい。

携帯情報装置２００，２００Ａ，２００Ｂは、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）など、ユーザーが携帯して使用するコンピューターである。携帯情報装置２００，２００Ａ，２００Ｂのハードウェア構成および機能は同じなので、ここでは特に言及しない限り携帯情報装置２００を例に説明する。ここでは、携帯情報装置２００を、スマートフォンとしており、無線ＬＡＮ機能と、通話機能とを備えている。このため、携帯情報装置２００は、携帯電話用基地局と無線で通信することにより携帯電話網に接続し、通話が可能である。

本実施の形態における画像形成システム１において、携帯情報装置２００，２００Ａ，２００Ｂそれぞれは、ＭＦＰ１００，１００Ａ，１００Ｂを遠隔操作する。この場合、携帯情報装置２００，２００Ａ，２００Ｂそれぞれは、ＭＦＰ１００，１００Ａ，１００Ｂを遠隔操作する遠隔操作装置として機能し、ＭＦＰ１００，１００Ａ，１００Ｂそれぞれは、携帯情報装置２００，２００Ａ，２００Ｂいずれかによって遠隔操作される遠隔制御装置として機能する。携帯情報装置２００，２００Ａ，２００Ｂには、ＭＦＰ１００，１００Ａ，１００Ｂを遠隔操作するための遠隔操作プログラムがインストールされる。遠隔操作プログラムは、ＭＦＰ１００，１００Ａ，１００Ｂに共通し、ＭＦＰ１００，１００Ａ，１００Ｂのいずれにも対応可能なアプリケーションプログラムである。一方、ＭＦＰ１００には、携帯情報装置２００により遠隔操作され、処理を実行する遠隔制御プログラムがインストールされている。ここでは、携帯情報装置２００がＭＦＰ１００を遠隔操作する場合を例に説明する。

本実施の形態における画像形成システム１において、ＭＦＰ１００，１００Ａ，１００Ｂの構成および実行可能な機能がそれぞれ異なるが基本構成は同じである。ここでは、ＭＦＰ１００を例に、ＭＦＰ１００の基本構成を説明する。

図２は、ＭＦＰの基本構成の概要を示すブロック図である。図２を参照して、ＭＦＰ１００は、メイン回路１１０と、原稿を読み取るための原稿読取部１３０と、原稿を原稿読取部１３０に搬送するための自動原稿搬送装置１２０と、原稿読取部１３０が原稿を読み取って出力する画像データに基づいて用紙等に画像を形成するための画像形成部１４０と、画像形成部１４０に用紙を供給するための給紙部１５０と、画像が形成された用紙を処理する後処理部１５５と、ユーザーインターフェースとしての操作パネル１６０とを含む。

後処理部１５５は、画像形成部１４０により画像が形成された１以上の用紙を並び替えて排紙するソート処理、パンチ穴加工するパンチ処理、ステープル針を打ち込むステープル処理を実行する。

メイン回路１１０は、ＣＰＵ１１１と、通信インターフェース（Ｉ／Ｆ）部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、大容量記憶装置としてのハードディスクドライブ（ＨＤＤ）１１５と、ファクシミリ部１１６と、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ ＲＯＭ）１１８が装着される外部記憶装置１１７と、を含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０、後処理部１５５および操作パネル１６０と接続され、ＭＦＰ１００の全体を制御する。

ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。さらに、ＲＡＭ１１４は，設定値記憶領域を含む。設定値記憶領域は、機能を実行するための設定値を記憶する領域である。また、ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる読取データ（画像データ）を一時的に記憶する。

通信Ｉ／Ｆ部１１２は、ＭＦＰ１００をネットワーク３に接続するためのインターフェースである。ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を介して、他のＭＦＰ１００Ａ，２１００Ｂ、または携帯情報装置２００，２００Ａ，２００Ｂとの間で通信し、データを送受信する。また、通信Ｉ／Ｆ部１１２は、ネットワーク３を介してインターネットに接続されたコンピューターと通信が可能である。

ファクシミリ部１１６は、公衆交換電話網（ＰＳＴＮ）に接続され、ＰＳＴＮにファクシミリデータを送信する、またはＰＳＴＮからファクシミリデータを受信する。ファクシミリ部１１６は、受信したファクシミリデータを、ＨＤＤ１１５に記憶する、または画像形成部１４０に出力する。画像形成部１４０は、ファクシミリ部１１６により受信されたファクシミリデータを用紙にプリントする。また、ファクシミリ部１１６は、ＨＤＤ１１５に記憶されたデータをファクシミリデータに変換して、ＰＳＴＮに接続されたファクシミリ装置に送信する。

外部記憶装置１１７は、ＣＤ−ＲＯＭ１１８が装着される。ＣＰＵ１１１は、外部記憶装置１１７を介してＣＤ−ＲＯＭ１１８にアクセス可能である。ＣＰＵ１１１は、外部記憶装置１１７に装着されたＣＤ−ＲＯＭ１１８に記録されたプログラムをＲＡＭ１１４にロードして実行する。なお、ＣＰＵ１１１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ１１８に限られず、光ディスク（ＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（登録商標）（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）などの半導体メモリであってもよい。

また、ＣＰＵ１１１が実行するプログラムは、ＣＤ−ＲＯＭ１１８に記録されたプログラムに限られず、ＨＤＤ１１５に記憶されたプログラムをＲＡＭ１１４にロードして実行するようにしてもよい。この場合、ネットワーク３に接続された他のコンピューターが、ＭＦＰ１００のＨＤＤ１１５に記憶されたプログラムを書換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、ＭＦＰ１００が、ネットワーク３に接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをＨＤＤ１１５に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

操作パネル１６０は、ＭＦＰ１００の上面に設けられる。操作パネル１６０は、表示部１６１と操作部１６３とを含む。表示部１６１は、例えば、液晶表示装置（ＬＣＤ）であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。

操作部１６３は、タッチパネル１６５と、ハードキー部１６７とを含む。タッチパネル１６５は、静電容量方式である。なお、タッチパネル１６５は、静電容量方式に限らず、例えば、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式等の他の方式を用いることができる。

タッチパネル１６５は、検出面中でユーザーにより指示される位置を検出する。タッチパネル１６５の検出面は、表示部１６１の上面または下面に表示部１６１に重畳して設けられる。ここでは、タッチパネル１６５の検出面のサイズと、表示部１６１の表示面のサイズとを同じにしている。このため、表示面の座標系と検出面の座標系は同じである。タッチパネル１６５は、ユーザーが、表示部１６１の表示面を指示する位置を検出面で検出し、検出した位置の座標をＣＰＵ１１１に出力する。表示面の座標系と検出面の座標系は同じなので、タッチパネル１６５が出力する座標を、表示面の座標に置き換えることができる。以下、ユーザーが表示部１６１の表示面を指示することによりタッチパネル１６５が検出面で検出して出力する座標を、表示部１６１の表示面の座標ともいう。

タッチパネル１６５は、マルチタッチ対応のタッチパネルである。このため、タッチパネル１６５は、ユーザーが、表示部１６１の表示面を一度に複数個所を複数の指で指示する場合、検出面で表示部１６１の表示面中でユーザーにより指示された複数の位置を検出し、検出した複数の位置をそれぞれ示す複数の座標を、ＣＰＵ１１１に出力する。

ハードキー部１６７は、複数のハードキーを含む。ハードキーは、例えば接点スイッチである。タッチパネル１６５は、表示部１６１の表示面中でユーザーにより指示された位置を検出する。ユーザーがＭＦＰ１００を操作する場合は直立した姿勢となる場合が多いので、表示部１６１の表示面、タッチパネル１６５の操作面およびハードキー部１６７は、上方を向いて配置される。ユーザーが表示部１６１の表示面を容易に視認することができ、ユーザーが指で操作部１６３を容易に指示することができるようにするためである。

図３は、携帯情報装置の構成の概要を示すブロック図である。図３を参照して、本実施の形態における携帯情報装置２００は、携帯情報装置２００の全体を制御するためのＣＰＵ２０１と、カメラ２０２と、データを不揮発的に記憶するフラッシュメモリ２０３と、通話部２０５と接続された無線通信部２０４と、情報を表示する表示部２０６と、ユーザーの操作を受け付ける操作部２０７と、無線ＬＡＮＩ／Ｆ２０８と、加速度センサー２１０と、外部記憶装置２１１と、を含む。

表示部２０６は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ等の表示装置であり、画像を表示する。操作部２０７は、メインキー２０７Ａと、タッチパネル２０７Ｂとを備える。タッチパネル２０７Ｂは、静電容量方式である。なお、タッチパネル２０７Ｂは、静電容量方式に限らず、例えば、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式等の他の方式を用いることができる。

タッチパネル２０７Ｂは、検出面中でユーザーにより指示される位置を検出する。タッチパネル１６５の検出面は、表示部２０６の上面または下面に表示部２０６に重畳して設けられる。ここでは、タッチパネル２０７Ｂの検出面のサイズと、表示部２０６の表示面のサイズとを同じにしている。このため、表示面の座標系と検出面の座標系は同じである。タッチパネル２０７Ｂは、ユーザーが、表示部２０６の表示面を指示する位置を検出面で検出し、検出した位置の座標をＣＰＵ２０１に出力する。表示面の座標系と検出面の座標系は同じなので、タッチパネル２０７Ｂが出力する座標を、表示面の座標に置き換えることができる。以下、ユーザーが表示部２０６の表示面を指示することによりタッチパネル２０７Ｂが検出面で検出して出力する座標を、表示部２０６の表示面の座標ともいう。

タッチパネル２０７Ｂは、マルチタッチ対応のタッチパネルである。このため、タッチパネル１６５は、ユーザーが、表示部２０６の表示面を一度に複数個所を複数の指で指示する場合、検出面で表示部２０６の表示面中でユーザーにより指示された複数の位置を検出し、検出した複数の位置をそれぞれ示す複数の座標を、ＣＰＵ２０１に出力する。

カメラ２０２は、レンズおよび光電変換素子を備え、レンズで集光した光を光電変換素子に結像し、光電変換素子は受光した光を光電変換して画像データをＣＰＵ２０１に出力する。光電変換素子は、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサー等である。

無線通信部２０４は、電話通信網に接続された携帯電話用基地局と無線通信する。無線通信部２０４は、携帯情報装置２００を電話通信網に接続し、通話部２０５を用いた通話を可能とする。無線通信部２０４は、携帯電話用基地局から受信した無線信号を復調した音声信号を復号して通話部２０５に出力する。また、無線通信部２０４は、通話部２０５から入力される音声を符号化し、携帯電話用基地局に送信する。通話部２０５は、マイクおよびスピーカーを備え、無線通信部２０４から入力される音声をスピーカーから出力し、マイクから入力される音声を無線通信部２０４に出力する。さらに、無線通信部２０４は、ＣＰＵ２０１により制御され、携帯情報装置２００を電子メールサーバーに接続し、電子メールを送受信する。

無線ＬＡＮＩ／Ｆ２０８は、無線局５と通信し、携帯情報装置２００をネットワーク３に接続するためのインターフェースである。携帯情報装置２００に、ＭＦＰ１００，１００Ａ，１００ＢそれぞれのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、携帯情報装置２００は、ＭＦＰ１００，１００Ａ，１００Ｂと通信することができ、データの送受信が可能となる。なお、本実施の形態においては、携帯情報装置２００が無線ＬＡＮＩ／Ｆ２０８を用いて、ＭＦＰ１００，１００Ａ，１００Ｂと通信する場合を例に説明するが、他の通信方法を用いて通信するようにしてもよい。具体的には、携帯情報装置２００、ＭＦＰ１００，１００Ａ，１００Ｂが、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線装置を搭載する場合には、携帯情報装置２００が、ＭＦＰ１００，１００Ａ，１００Ｂのいずれかと、１対１で通信するようにしてもよい。

フラッシュメモリ２０３は、ＣＰＵ２０１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＣＰＵ２０１は、フラッシュメモリ２０３に記録されたプログラムを、ＣＰＵ２０１が備えるＲＡＭにロードして実行する。

加速度センサー２１０は、互いに直交するＸ軸、Ｙ軸およびＺ軸の３方向の加速度を測定する３軸加速度センサーである。加速度センサー２１０は、検出した加速度をＣＰＵ２０１に出力する。

外部記憶装置２１１は、携帯情報装置２００に着脱自在であり、遠隔操作プログラムを記憶したＣＤ−ＲＯＭ２１１Ａが装着可能である。ＣＰＵ２０１は、外部記憶装置２１１を介してＣＤ−ＲＯＭ２１１Ａにアクセス可能である。ＣＰＵ２０１は、外部記憶装置２１１に装着されたＣＤ−ＲＯＭ２１１Ａに記録された遠隔操作プログラムを、ＣＰＵ２０１が備えるＲＡＭにロードして実行することが可能である。

なお、ＣＰＵ２０１が実行するプログラムとして、フラッシュメモリ２０３またはＣＤ−ＲＯＭ２１１Ａに記録されたプログラムについて説明したが、ネットワーク３に接続された他のコンピューターが、フラッシュメモリ２０３に記憶されたプログラムを書換えたプログラム、または、追加して書き込んだ新たなプログラムであってもよい。さらに、携帯情報装置２００が、ネットワーク３に接続された他のコンピューターからダウンロードしたプログラムでもよい。ここでいうプログラムは、ＣＰＵ２０１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

なお、ＣＰＵ２０１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ２１１Ａに限られず、光ディスク（ＭＯ／ＭＤ／ＤＶＤ）、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（登録商標）などの半導体メモリであってもよい。

図４は、本実施の形態におけるＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。図４に示す機能は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、ＣＤ−ＲＯＭ１１８に記憶された制御プログラムを実行することにより、ＣＰＵ１１１に形成される機能である。図４を参照して、ＭＦＰが備えるＣＰＵ１１１は、遠隔制御部５１と、操作決定部５３と、処理実行部５５と、速さ決定部５７と、表示制御部６１と、位置検出部６３と、削減部６５と、を含む。

遠隔制御部５１は、通信Ｉ／Ｆ部１１２を制御して、ＭＦＰ１００を遠隔操作する遠隔操作装置と通信する。遠隔制御部５１は、遠隔操作装置からの要求に応じて、遠隔操作装置との間で通信経路を確立する。携帯情報装置２００，２００Ａ、２００Ｂは、ＭＦＰ１００を遠隔操作する遠隔操作装置となり得る。ここでは、携帯情報装置２００がＭＦＰ１００の遠隔操作装置として機能する場合を例に説明する。遠隔制御部５１は、通信Ｉ／Ｆ部１１２が、携帯情報装置２００から接続要求を受信すると、携帯情報装置２００との間の通信経路を確立する。

遠隔制御部５１は、遠隔操作指令受信部８１と、送信制御部８３と、を含む。送信制御部８３は、携帯情報装置２００との間で確立された通信経路を介して、操作画面を携帯情報装置２００に送信する。操作画面を受信する携帯情報装置２００の機能の詳細は後述するが、遠隔操作指令をＭＦＰ１００に送信する。遠隔操作指令受信部８１は、携帯情報装置２００との間で確立された通信経路を介して、携帯情報装置２００から遠隔操作指令を受信することに応じて、受信される遠隔操作指令を操作決定部５３に出力する。遠隔操作指令は、操作画面中の位置を示す１以上の座標を含む。

操作決定部５３は、ユーザーの操作を受け付けるための操作画面の表示を、表示制御部６１に指示し、ユーザーが操作画面に従って操作部１６３に入力する操作を決定する。具体的には、操作決定部５３は、操作画面を識別するための操作画面識別情報を表示制御部６１に出力する。操作決定部５３は、初期段階において、予め定められた操作画面の画面識別情報を表示制御部６１に出力する。初期段階は、例えば、ＭＦＰ１００に電源が投入された時、または、電力消費の少ないスリープ状態から復帰した時、等である。

表示制御部６１は、操作決定部５３から画面識別情報が入力されることに応じて、操作決定部５３から入力される画面識別情報で特定される操作画面をＨＤＤ１１５から読出し、操作画面を表示部１６１に表示する。操作画面は、予め定められた画面の画像である。操作画面は、可変表示領域を含む場合がある。可変表示領域は、リスト画像またはプレビュー画像を表示するための領域であって、操作画面によりサイズが定められた領域である。リスト画像は、数が固定されていない１以上のデータを配列した画像である。例えば、リスト画像は、送信先のアドレスを含むアドレス帳のデータを配列した画像、ジョブの履歴を配列した画像を含む。リスト画像のサイズは、可変表示領域のサイズよりも大きくなる場合がある。表示制御部６１は、操作画面がリスト画像を表示する可変表示領域を含む場合には、リスト画像のサイズが可変表示領域のサイズより大きい場合には、リスト画像をスクロール可能な状態で可変表示領域に配置した操作画面を表示する。具体的には、表示制御部６１は、リスト画像の一部である表示部分を可変表示領域に配置した操作画面を表示する。リスト画像中の表示部分は、リスト画像中でサイズを変更可能な領域であり、また、平行移動可能な領域である。プレビュー画像は、プリントデータがプリントされた状態を再現した画像である。可変表示領域において、プレビュー画像を拡大または縮小して表示される場合がある。表示制御部６１は、操作画面がプレビュー画像を表示するための可変表示領域を含む場合、プレビュー画像のサイズが可変表示領域のサイズより大きい場合には、プレビュー画像の一部の表示部分を可変表示領域に含む操作画面を表示する。プレビュー画像中の表示部分は、プレビュー画像中でサイズを変更可能な領域であり、また、平行移動可能な領域である。表示制御部６１は、操作画面を表示部１６１に表示させる場合、表示された操作画面を削減部６５および操作決定部５３に出力する。

位置検出部６３は、タッチパネル１６５を制御し、タッチパネル１６５から入力される座標を操作決定部５３に出力する。位置検出部６３は、タッチパネル１６５から一度に複数の座標が入力される場合、操作決定部５３に複数の座標を出力する。

操作決定部５３は、表示制御部６１に画面識別情報を出力した後に、表示制御部６１から操作画面が入力される。操作決定部５３は、表示制御部６１から操作画面が入力された後、位置検出部６３から１以上の座標が入力されることに応じて、操作画面と、位置検出部６３から入力される１以上の座標に基づいて、ユーザーによる操作を決定する。また、操作決定部５３は、表示制御部６１から操作画面が入力された後、遠隔操作指令受信部８１から遠隔操作指令が入力されることに応じて、操作画面と、遠隔操作指令に含まれる１以上の座標に基づいて、ユーザーによる操作を決定する。遠隔操作指令が受信される場合の操作決定部５３の動作は、位置検出部６３から１以上の座標が入力される場合の動作と同じである。以下の説明では、操作決定部５３の動作を、位置検出部６３から１以上の座標が入力される場合の動作を例に説明する。

ユーザーによる操作は、ユーザーが表示部１６１の表示面の任意の位置を指示する指示開始操作、ユーザーが表示部１６１の表示面を指示しながら、換言すれば、表示部１６１の表示面に触れながら指示する位置を移動させる移動操作、ユーザーが表示部１６１の表示面の指示を終了する終了操作、を含む。操作決定部５３は、位置検出部６３から１以上の座標が入力されると、１以上の座標ごとにユーザーによる操作が、指示開始操作、移動操作、終了操作のいずれであるかを判断する。上述したように、位置検出部６３は、タッチパネル１６５から１以上の座標が出力されるごとに、１以上の座標を出力するので、１以上の座標ごとに、時間の経過とともに連続して入力される座標の連続性に基づいて、ユーザーによる操作が、指示開始操作、移動操作、終了操作のいずれであるかを判断する。

操作決定部５３は、位置検出部６３から座標が入力されていない状態が所定時間経過した後に入力される座標に対して、ユーザーによる操作が指示開始操作と判断し、座標と、指示開始操作を識別するための状態識別情報「Ｐｒｅｓｓ」とを含むタッチイベントを決定する。操作決定部５３は、状態識別情報「Ｐｒｅｓｓ」のタッチイベントを決定した後、位置検出部６３から連続して複数の座標が入力される場合、複数の座標それぞれに対して、ユーザーによる操作が移動操作と判断する。操作決定部５３は、位置検出部６３から連続して入力される１以上の座標それぞれに対して、その座標と移動操作を識別するための状態識別情報「Ｍｏｖｅ」とを含むタッチイベントを決定する。操作決定部５３は、状態識別情報「Ｍｏｖｅ」のタッチイベントを決定した後、位置検出部６３から座標が入力されなくなる場合、最後に入力された座標に対して、ユーザーによる操作が終了操作と判断し、最後に入力された座標と、終了操作を識別するための状態識別情報「Ｒｅｌｅａｓｅ」とを含むタッチイベントを決定する。

より具体的には、操作決定部５３は、位置検出部６３から第１の時に入力される座標と、第１の時よりも所定時間後の第２の時に入力される座標とに基づいて、タッチイベントの状態を決定する。操作決定部５３は、第１の時に入力される座標に対して、第１の時よりも所定時間前に、第１の時に入力される座標で特定される位置から所定の距離の範囲内の位置を示す座標が入力されていない場合には、第１の時に入力される座標に対するタッチイベントの状態を「Ｐｒｅｓｓ」に決定する。操作決定部５３は、第１の時に入力される座標で特定される位置が、第２の時に入力される座標で特定される位置から所定の距離の範囲内に存在しない場合には、第２の時に入力される座標に対するタッチイベントの状態を「Ｐｒｅｓｓ」に決定する。

また、操作決定部５３は、第１の時に入力される座標で特定される位置が、第２の時に入力される座標で特定される位置から所定の距離の範囲内に存在する場合には、第２の時に入力される位置情報に対するタッチイベントの状態を「Ｍｏｖｅ」に決定する。さらに、操作決定部５３は、第１の時に入力される座標で特定される位置から所定の距離の範囲内の座標が、第２の時に入力されない場合には、第２の時において第１の時に入力されていた座標に対するタッチイベントの状態を「Ｒｅｌｅａｓｅ」に決定する。

操作決定部５３は、複数のタッチイベントに基づいてジェスチャーイベントを決定する。操作決定部５３は、速さ決定部５７を含む。速さ決定部５７は、ジェスチャーイベントの速さを決定する。

操作決定部５３は、１つのタッチイベントを連続して決定する場合、例えば、操作決定部５３は、状態識別情報が「Ｐｒｅｓｓ」のタッチイベントを決定した後に状態識別情報が「Ｒｅｌｅａｓｅ」のタッチイベントを決定すると、状態識別情報が「Ｐｒｅｓｓ」のタッチイベントの座標と、状態識別情報が「Ｒｅｌｅａｓｅ」のタッチイベントの座標とが同じ場合には、タップ操作のジェスチャーイベントを決定する。タップ操作を決定する場合、操作決定部５３は、状態識別情報が「Ｐｒｅｓｓ」のタッチイベントの座標を、タップ操作に対応する位置に決定する。速さ決定部５７は、タップ操作のジェスチャーイベントが決定される場合、ジェスチャーイベントの速さを決定しない。

操作決定部５３は、タップ操作を決定する場合、タップ操作を決定する際にタップ操作に対して決定される座標に基づいて、操作画面中でユーザーにより指示された位置を特定する。具体的には、操作決定部５３は、操作画面中でタッチパネル１６５から入力された座標によって特定される位置を、ユーザーにより指示された位置に特定する。操作決定部５３は、操作画面中でユーザーにより指示された位置を特定し、操作画面中で特定された位置に対応する操作を決定する。例えば、操作画面が、設定値を設定する操作が割り当てられた設定ボタンを含む場合に、操作画面中でユーザーにより指示された位置がその設定ボタンの範囲内ならば、設定値を設定する操作を特定し、設定値を設定する指令を処理実行部５５に出力する。操作画面が、処理の実行を指示する操作が割り当てられた実行指示ボタンを含む場合に、操作画面中でユーザーにより指示された位置がその実行指示ボタンの範囲内ならば、実行指示操作を特定し、ボタンで特定される種類の処理を実行する指令を処理実行部５５に出力する。また、操作決定部５３は、操作画面が、別の操作画面に表示を切り換える操作が割り当てられた遷移ボタンを含む場合に、操作画面中でユーザーにより指示された位置がその遷移ボタンの範囲内ならば、画面を遷移する操作を特定し、遷移ボタンに関連付けられた画面識別情報を表示制御部６１に出力する。

処理実行部５５は、通信Ｉ／Ｆ部１１２、ファクシミリ部１１６、ＨＤＤ１１５、外部記憶装置１１７、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０および給紙部１５０を制御し、処理を実行する。処理実行部５５は、操作決定部５３から設定値を設定する指令が入力されることに応じて、設定値を設定する処理を実行する。また、処理実行部５５は、操作決定部５３は、処理を実行する指令が入力されることに応じて、その指令で特定される種類の処理を実行する。処理実行部５５が実行する処理の一例は、スキャン処理、コピー処理、プリント処理およびファクシミリ送受信処理等である。スキャン処理は、原稿読取部１３０で読み取った原稿の画像を、ＨＤＤ１１５、外部記憶装置１１７および通信Ｉ／Ｆ部１１２の少なくとも１つに出力する処理である。コピー処理は、原稿読取部１３０で読み取った原稿の画像を、画像形成部１４０に給紙部１５０から供給される用紙に画像形成させる処理である。プリント処理は、通信Ｉ／Ｆ部１１２を介してネットワークに接続されたコンピューターから受信されるプリントデータの画像、ＨＤＤ１１５または外部記憶装置１１７に記憶されたデータの画像を、画像形成部１４０に給紙部１５０から供給される用紙に画像形成させる処理である。ファクシミリ送信処理は、ファクシミリデータの画像をファクシミリ部１１６に送信させる処理である。ファクシミリ受信処理は、外部から受信されるファクシミリデータの画像を、画像形成部１４０、ＨＤＤ１１５、外部記憶装置１１７および通信Ｉ／Ｆ部１１２の少なくとも１つに出力する処理である。

操作決定部５３は、状態識別情報が「Ｐｒｅｓｓ」のタッチイベントを決定した後に状態識別情報が「Ｍｏｖｅ」のタッチイベントを決定する場合、状態識別情報が「Ｍｏｖｅ」のタッチイベント決定されるごとに、状態識別情報が「Ｐｒｅｓｓ」のタッチイベントの座標と、状態識別情報が「Ｍｏｖｅ」のタッチイベントの座標とが異なる場合は、フリック操作またはスワイプ操作のジェスチャーイベントを決定する。速さ決定部５７は、状態識別情報が「Ｐｒｅｓｓ」のタッチイベントを決定した後に状態識別情報が「Ｍｏｖｅ」のタッチイベントを決定すると、状態識別情報が「Ｍｏｖｅ」のタッチイベントを決定するごとに、状態識別情報が「Ｐｒｅｓｓ」のタッチイベントの座標と、状態識別情報が「Ｍｏｖｅ」のタッチイベントの座標とから２点間の距離を算出し、状態識別情報が「Ｐｒｅｓｓ」のタッチイベントが検出されてから状態識別情報が「Ｍｏｖｅ」のタッチイベントが検出されるまでの時間と、算出された距離とから操作の速さを算出する。速さ決定部５７は、算出された操作の速さを削減部６５に出力する。操作決定部５３は、速さ決定部５７により算出された操作の速さが所定のしきい値ＴＶ以上ならばスワイプ操作のジェスチャーイベントを決定し、操作の速さが所定のしきい値ＴＶより小さければフリック操作のジェスチャーイベントを決定する。

操作決定部５３は、フリック操作およびスワイプ操作のジェスチャーイベントを決定するごとに、状態識別情報が「Ｐｒｅｓｓ」のタッチイベントの座標で特定される位置から状態識別情報が「Ｍｏｖｅ」のタッチイベントの座標で特定される位置に向かう方向を算出し、表示部１６１の表示面を基準に上下左右の４方向のうち算出された方向に最も近い方向を指示方向として決定する。また、操作決定部５３は、フリック操作およびスワイプ操作のジェスチャーイベントを決定するごとに、状態識別情報が「Ｐｒｅｓｓ」のタッチイベントの座標と、状態識別情報が「Ｍｏｖｅ」のタッチイベントの座標とから算出される２点間の距離を、操作量として決定する。

操作決定部５３は、一度に２以上のタッチイベントを決定する場合、２以上のタッチイベントに基づいてユーザーによるマルチタッチ操作を決定する。具体的には、操作決定部５３は、第１のタッチイベントと第２のタッチイベントの２つを一度に決定する場合、第１のタッチイベントに対して連続して決定される複数のタッチイベントの第１の組と、第２のタッチイベントに対して連続して決定される複数のタッチイベントの第２の組と、に基づいてマルチタッチ操作を決定する。第１の組に含まれる複数のタッチイベントは、座標が同じか、または座標が連続している。連続とは、２つの座標が所定の距離の範囲内の位置を示すことをいう。第２の組に含まれる複数のタッチイベントは、座標が同じか、または座標が連続している。このため、操作決定部５３は、一度に入決定される複数のタッチイベントが、第１の組と第２の組のいずれに属するかを、それらに含まれる座標で判断する。

操作決定部５３は、一度に２つのタッチイベントを決定する場合、最初に決定される２つのタッチイベントそれぞれの状態識別情報が「Ｐｒｅｓｓ」である。この場合に、２つのタッチイベントそれぞれに含まれる座標に基づいて、２点間の距離Ｌ１を算出する。そして、操作決定部５３は、その後に一度に決定される、状態識別情報が「Ｍｏｖｅ」の２つのタッチイベントが決定されるごとに、状態識別情報が「Ｍｏｖｅ」の２つのタッチイベントの座標に基づいて、２点間の距離Ｌ２を算出する。

速さ決定部５７は、状態識別情報が「Ｍｏｖｅ」の２つのタッチイベントが決定されるごとに、距離Ｌ１と距離Ｌ２との差と、距離Ｌ１を算出してから距離Ｌ２を算出するまでの時間とから操作の速さを算出する。速さ決定部５７は、算出された操作の速さを削減部６５に出力する。操作決定部５３は、距離Ｌ２が距離Ｌ１より大きければピンチアウト操作のジェスチャーイベントを決定し、距離Ｌ２が距離Ｌ１より小さければピンチイン操作のジェスチャーイベントを決定する。操作決定部５３は、ピンチアウト操作またはピンチイン操作を検出する場合、距離Ｌ２を距離Ｌ１で除算することによって倍率を決定する。

操作決定部５３は、ピンチアウト操作のジェスチャーイベントを決定するごとに、表示制御部６１に拡大指示を出力し、ピンチイン操作のジェスチャーイベントを決定するごとに、表示制御部６１に縮小指示を出力し、スワイプ操作またはフリック操作を決定するごとに、表示制御部６１にスクロール指示を出力する。拡大指示は、ピンチアウト操作の操作量に基づく拡大率を含む。縮小指示は、ピンチイン操作の操作量に基づく縮小率を含む。ピンチアウト操作およびピンチイン操作それぞれの操作量は、２つの座標間の距離の変化量に比例する値である。スクロール指示は、スワイプ操作またはフリック操作の操作量に基づく移動量と、操作の方向と、を含む。

表示制御部６１は、操作決定部５３から拡大指示が入力されるごとに、表示部１６１に表示されている操作画面中の可変表示領域に表示されている画像を拡大指示に含まれる拡大率で拡大した画像を可変表示領域に含む操作画面を表示部１６１に表示させる。具体的には、可変表示領域に表示されている表示部分を含むプレビュー画像またはリスト画像を処理対象とし、表示部分を拡大率に基づき定まるサイズに縮小し、プレビュー画像またはリスト画像中で縮小後の表示部分の画像を可変表示領域に納まるサイズに拡大した操作画面を、表示部１６１に表示するとともに、操作画面の画像を削減部６５に出力する。

表示制御部６１は、操作決定部５３から縮小指示が入力されるごとに、操作画面中の可変表示領域に表示されている画像を縮小指示に含まれる縮小率に基づき定まるサイズに縮小した画像を可変表示領域に含む操作画面を表示部１６１に表示させる。具体的には、可変表示領域に表示されている表示部分を含むプレビュー画像またはリスト画像を処理対象とし、表示部分を縮小率に基づき定まるサイズに拡大し、プレビュー画像またはリスト画像中で拡大後の表示部分の画像を可変表示領域に納まるサイズに縮小した操作画面を、表示部１６１に表示するとともに、操作画面を動作生成部５９に出力する。

表示制御部６１は、操作決定部５３からスクロール指示が入力される場合、可変表示領域に表示されている表示部分を含むプレビュー画像またはリスト画像を処理対象とし、表示部分をプレビュー画像またはリスト画像中でスクロール指示に含まれる移動量だけスクロール指示に含まれる方向に平行移動させ、プレビュー画像またはリスト画像中で平行移動後の表示部分の画像を可変表示領域に配置した操作画面を、表示部１６１に表示するとともに、操作画面を削減部６５に出力する。

削減部６５は、操作決定部５３によってタップ操作が決定される場合、表示制御部６１から操作画面が入力される。削減部６５は、操作決定部５３によってタップ操作が決定される場合、表示制御部６１から入力される操作画面を、送信制御部８３に出力する。

削減部６５は、操作決定部５３によってピンチイン操作、ピンチアウト操作、スワイプ操作またはフリック操作のジェスチャーイベントが決定されるごとに、表示制御部６１から操作画面が入力される。ジェスチャーイベントは、ユーザーによりピンチイン操作、ピンチアウト操作、スワイプ操作またはフリック操作が入力されている間、所定の時間間隔で決定される。このため、操作決定部５３によってピンチイン操作、ピンチアウト操作、スワイプ操作またはフリック操作のジェスチャーイベントが決定される場合、削減部６５は、表示制御部６１から所定時間間隔で複数の操作画面が入力される。

削減部６５は、解像度変換部７１と、特徴部分サイズ決定部７３と、削減パラメータ決定部７５と、優先度決定部７７と、サイズ変更部７９と、を含む。特徴部分サイズ決定部７３は、操作画面に含まれる可変表示領域の画像中から特徴部分を抽出し、抽出された特徴部分のサイズを決定する。可変表示領域の画像が文字を含む場合、文字を特徴部分として抽出し、抽出された文字のサイズを特徴部分のサイズとして決定する。可変表示領域の画像が写真や図形を含む場合、画像中のエッジを特徴部分として抽出し、複数のエッジ間の距離を特徴部分のサイズとして決定する。複数のエッジ間の距離の最小値を決定するようにすればよい。また、特徴部分サイズ決定部７３は、グラデーションが表された部分を特徴部分とし、グラデーションが表された部分内で所定の距離における画素値の差の最大値を特徴部分のサイズとすればよい。特徴部分サイズ決定部７３は、決定された特徴部分のサイズをサイズ変更部７９に出力する。

サイズ変更部７９は、特徴部分サイズ決定部７３から入力される特徴部分のサイズを、遠隔操作装置である携帯情報装置２００の表示部２０６の表示面のサイズに基づいて、変更する。例えば、表示部１６１の表示面のサイズと、携帯情報装置２００の表示部２０６の表示面のサイズとの割合を算出し、算出された割合を用いて特徴部分のサイズを変更する。例えば、携帯情報装置２００の表示部２０６の表示面のサイズを、表示部１６１の表示面のサイズで除算した値を、特徴部分のサイズに乗算すればよい。携帯情報装置２００の表示部２０６の表示面のサイズは、遠隔制御部５１が遠隔操作装置である携帯情報装置２００との間の通信経路を確立した時点で、携帯情報装置２００から取得するようにすればよい。サイズ変更部７９は、変更後の特徴部分のサイズを優先度決定部７７に出力する。

優先度決定部７７は、速さ決定部５７から操作の速さが入力され、サイズ変更部７９から特徴部分のサイズが入力される。優先度決定部７７は、操作の速さに基づいて、フレームレートと解像度とのいずれを優先するかを決定する。優先度決定部７７は、操作の速さが特徴部分のサイズに対して予め定められたしきい値より大きい場合、フレームレートを優先し、特徴部分のサイズに対して予め定められたしきい値以下の場合、解像度を優先する。操作の速さと特徴部分のサイズとの組に対して予め定められるしきい値は、特徴部分のサイズごとに定められ、移動された場合にユーザーにより読取可能となる上限の速さとして定められる。例えば、特徴部分を文字の画像とする場合、文字のサイズを異ならせた複数の画像を、それぞれ移動させる実験によって、読み取り可能となる上限の速さを求めようにすればよい。優先度決定部７７は、決定した結果と、操作の速さと、特徴部分のサイズとを、削減パラメータ決定部７５に出力する。

削減パラメータ決定部７５は、優先度決定部７７により決定された結果が解像度を優先することを示す場合、操作の速さと特徴部分のサイズとに基づいて縮小率を決定する。操作の速さと、特徴部分のサイズとの組に対して、縮小率を定めた解像度テーブルを予め準備しておき、その解像度テーブルを参照して、縮小率を決定する。削減パラメータ決定部７５は、決定された縮小率で操作画面を縮小した後の操作画面のデータ量と、ＭＦＰ１００と遠隔操作装置である携帯情報装置との間で予め定められた送信可能なデータ量と、に基づいて、フレームレートを決定する。解像度テーブルは、特徴部分のサイズごとに、操作の速さ別の縮小率を定める。解像度テーブルにおいて、縮小率に対応する文字のサイズと操作の速さは、操作画面がその特徴部分のサイズの特徴部分を含む場合に、操作画面をその縮小率で縮小した操作画面を操作の速さで動かした状態でユーザーが特徴部分を認識することのできる最小の操作の速さを示す。解像度テーブルにおいて、縮小率「１００」に対して定まる特徴部分のサイズと操作の速さの組は、特徴部分のサイズに対して予め定められた操作の速さのしきい値を示す。

削減パラメータ決定部７５は、優先度決定部７７により決定された結果がフレームレートを優先することを示す場合、操作の速さに基づいてフレームレートを決定する。操作の速さに対して、フレームレートを予め定めておき、操作の速さに対して予め定めたフレームレートに決定する。削減パラメータ決定部７５は、決定されたフレームレートと、ＭＦＰ１００と遠隔操作装置である携帯情報装置との間で予め定められた送信可能なデータ量と、に基づいて、１フレーム値のデータ量を決定し、決定されたデータ量と操作画面のデータ量とから縮小率を決定する。

削減パラメータ決定部７５は、決定された縮小率を解像度変換部７１に出力するとともに、決定されたフレームレートを送信制御部８３に出力する。

解像度変換部７１は、表示制御部６１から操作画面が入力され、削減パラメータ決定部７５から縮小率が入力される。解像度変換部７１は、表示制御部６１から操作画面が入力されるごとに、その操作画面を、削減パラメータ決定部７５から入力される縮小率で縮小し、縮小した後の操作画面を送信制御部８３に出力する。

送信制御部８３は、削減パラメータ決定部７５からフレームレートが入力される場合、解像度変換部７１から入力される縮小後の操作画面を間引いて、フレームレートで定まるタイミングで遠隔操作装置である携帯情報装置２００に送信する。

携帯情報装置２００においては、解像度がフレームレートよりも優先される場合、フレームレートが、操作の速さで滑らかに再生できるフレームレートより小さな値に決定されるので、操作画面の動きが滑らかではないが、特徴部分を認識可能な状態で操作画面を表示することができる。また、フレームレートが解像度よりも優先される場合、特徴部分を認識できない解像度にまで縮小された操作画面が表示されるが、操作画面の動きが操作の速さに対応するので、応答性がよい。

図５は、本実施の形態における携帯情報装置が備えるＣＰＵの機能の概要の一例を示すブロック図である。図５に示す機能は、携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリ２０３、またはＣＤ−ＲＯＭ２１１Ａに記憶された遠隔操作プログラムを実行することにより、ＣＰＵ２０１に形成される機能である。図５を参照して、ＣＰＵ２０１は、通信制御部２５１と、表示制御部２５３と、位置検出制御部２５５と、を含む。

通信制御部２５１は、遠隔操作の対象となる遠隔制御装置との間で通信経路を確立する。具体的には、通信制御部２５１は、ユーザーが操作部２０７を操作して、ＭＦＰ１００，１００Ａ，１００Ｂのいずれかを遠隔操作の対象となる遠隔制御装置として指示すれば、無線ＬＡＮＩ／Ｆ２０８を制御して、遠隔制御装置に接続要求を送信し、遠隔制御装置との間の通信経路を確立する。ここでは、ユーザーがＭＦＰ１００を遠隔制御装置に指示した場合を例に説明する。この場合、通信制御部２５１は、ＭＦＰ１００との間で通信経路を確立する。

通信制御部２５１は、操作画面受信部２６１と、位置通知部２６３と、を含む。操作画面受信部２６１は、無線ＬＡＮＩ／Ｆ２０８を制御して、ＭＦＰ１００が送信する画像を受信する。操作画面受信部２６１は、ＭＦＰ１００から受信された画像を表示制御部２５３に出力する。ＭＦＰ１００が送信する画像は、操作画面の画像である。

表示制御部２５３は、表示部２０６を制御し、操作画面受信部２６１から入力される画像を表示部２０６に表示させる。表示制御部２５３は、受信される操作画面の画像の解像度が低い場合には、操作画面のサイズが表示部２０６の表示面のサイズに合わせて、操作画面を拡大して表示する。

位置検出制御部２５５は、タッチパネル２０７Ｂを制御して、タッチパネル２０７Ｂから入力される座標を位置通知部２６３に出力する。位置検出制御部２５５は、タッチパネル２０７Ｂから一度に複数の座標が入力される場合、位置通知部２６３に複数の座標を出力する。タッチパネル２０７Ｂから入力される座標は、表示部２０６に表示された画像中の位置を示す。

位置通知部２６３は、位置検出制御部２５５から１以上の座標が入力されることに応じて、１以上の座標を含む遠隔操作指令を、無線ＬＡＮＩ／Ｆ２０８を制御して、ＭＦＰ１００に送信する。

図６は、本実施の形態における遠隔制御処理の流れの一例を示すフローチャートである。遠隔制御処理は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、ＣＤ−ＲＯＭ１１８に記憶された遠隔制御プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図６を参照して、ＣＰＵ１１１は、接続要求を受信したか否かを判断する（ステップＳ０１）。通信Ｉ／Ｆ部１１２が携帯情報装置２００，２００Ａ，２００Ｂのいずれかから接続要求を受信したか否かを判断する。接続要求を受信するまで待機状態となり（ステップＳ０１でＮＯ）、接接続要求を受信したならば（ステップＳ０１でＹＥＳ）、処理をステップＳ０２に進める。ここでは、携帯情報装置２００から接続要求を受信する場合を例に説明する。

ステップＳ０２においては、接続要求を送信してきた装置、ここでは携帯情報装置２００との間で通信経路を確立する。次のステップＳ０３においては、デフォルトの操作画面を決定する。デフォルトの操作画面は、予め定められた操作画面である。

ステップＳ０４においては、操作画面を表示部１６１に表示し、処理をステップＳ０５に進める。ステップＳ０５においては、通信Ｉ／Ｆ部１１２を制御して、ステップＳ０２において確立された通信経路を介して、操作画面を携帯情報装置２００に送信し、処理をステップＳ０６に進める。

ステップＳ０６においては、ユーザーの操作を検出したか否かを判断する。タッチパネル１６５が1以上の座標を出力する場合に、ユーザーの操作を検出する。ユーザーの操作を検出したならば処理をステップＳ０８に進めるが、そうでなければ処理をステップＳ０７に進める。ステップＳ０７においては、通信Ｉ／Ｆ部１１２が、ステップＳ０２において確立された通信経路を介して携帯情報装置２００から遠隔操作指令を受信したか否かを判断する。携帯情報装置２００から遠隔操作指令を受信したならば処理をステップＳ０８に進めるが、そうでなければ処理をステップＳ０６に戻す。

ステップＳ０８においては、ユーザーによる操作を決定する。処理がステップＳ０６から進む場合には、タッチパネル１６５が出力する１以上の座標に基づいて操作を決定し、処理がステップＳ０７から進む場合には、携帯情報装置２００から受信された遠隔操作指令に含まれる１以上の座標に基づいて操作を決定する。

次のステップＳ０９においては、決定された操作が可変表示領域を変更する可変表示領域変更操作か否かを判断する。可変表示領域変更操作は、ピンチイン操作、ピンチアウト操作、フリック操作およびスワイプ操作である。決定された操作が可変表示領域変更操作ならば、処理をステップＳ１０に進めるが、そうでなければ処理をステップＳ２３に進める。ステップＳ２３においては、決定された操作が別の画面に遷移する操作か否かを判断する。決定された操作が別の操作画面に遷移する操作ならば、処理をステップＳ２４に進めるが、そうでなければ処理をステップＳ２５に進める。ステップＳ２４においては、別の操作画面を決定し、処理をステップＳ０６に戻す。

ステップＳ２５においては、決定された操作が処理の終了を指示する操作か否かを判断する。処理の終了を指示する操作ならば処理をステップＳ２６に進めるが、そうでなければ処理をステップＳ２７に進める。ステップＳ２６においては、ステップＳ０２において携帯情報装置２００との間で確立された通信経路を切断し、処理を終了する。

ステップＳ２７においては、決定された操作が処理の実行を指示する実行指示操作か否かを判断する。実行指示操作ならば処理をステップＳ２８に進めるが、そうでなければ処理をステップＳ０６に戻す。ステップＳ２８においては、実行指示操作で特定される種類の処理を実行し、処理をステップＳ０４に戻す。

ステップＳ１０においては、操作画面を生成する。可変表示領域を変更する可変表示領域変更操作に従って、操作画面中の可変表示領域に表示する画像を生成し、可変表示領域に生成された画像を配置した操作画面を生成する。そして、操作の速さを決定する。可変表示領域を変更する操作は、所定の時間以上継続し、ユーザーが指示する位置が変動する操作なので、位置の変動量と、その変動に要する時間とに基づいて操作の速さを決定する。次のステップＳ１２においては、特徴部分のサイズを決定する。可変表示領域に配置される画像が、文字を含むならば、文字のサイズを特徴部分のサイズに決定し、写真または図形等を含むならば、エッジ間の最大距離または、グラデーションの程度を特徴部分のサイズに決定する。

そして、優先順位を決定する。解像度とフレームレートとの優先順位を決定する。操作の速さが、特徴部分のサイズに対して予め定められたしきい値より大きい場合は、フレームレートを解像度よりも優先順位を高く決定し、それ以外の場合には解像度をフレームレートよりも優先順位を高く決定する。

次のステップＳ１４においては、解像度の優先順位がフレームレートの優先順位よりも高いか否かを判断する。解像度の優先順位がフレームレートの優先順位よりも高いならば処理をステップＳ１５に進めるが、そうでなければ処理をステップＳ１７に進める。

ステップＳ１５においては、縮小率を決定し、処理をステップＳ１６に進める。ステップＳ１２において決定された特徴部分のサイズに対して、ステップＳ１１において決定された操作の速さに対応して予め定められた縮小率を決定し、処理をステップＳ１６に進める。ステップＳ１６においては、フレームレートを決定し、処理をステップＳ１９に進める。予め定められた単位時間で送信可能なデータ量と、ステップＳ１５において決定された縮小率で操作画面を縮小した後の操作画面のデータ量と、からフレームレートを決定する。

ステップＳ１７においては、ステップＳ１１において決定された操作の速さに対応して予め定められたフレームレートに決定し、処理をステップＳ１８に進める。ステップＳ１８においては、縮小率を決定し、処理をステップＳ１９に進める。予め定められた単位時間で送信可能なデータ量と、ステップＳ１７において決定されたフレームレートと操作画面のデータ量とから縮小率を決定する。

ステップＳ１９においては、ステップＳ１６またはステップＳ１７のいずれかにより決定されたフレームレートに基づいて、送信タイミングか否かを判断する。送信タイミングならば処理をステップＳ２０に進めるが、そうでなければ処理をステップＳ２２に進める。処理がステップＳ２２に進む場合、操作画面が携帯情報装置２００に送信されないので、操作画面が間引かれる。

ステップＳ２０においては、ステップＳ１０において生成された操作画面を、ステップＳ１５またはステップＳ１８のいずれかで決定された縮小率で縮小し、処理をステップＳ２１に進める。ステップＳ２１においては、ステップＳ２０において縮小された後の操作画面を、ステップＳ０２において確立された通信経路を介して、携帯情報装置に送信し、処理をステップＳ２２に進める。

ステップＳ２２においては、可変表示領域変更操作が終了したか否かを判断する。可変表示領域変更操作が終了したならば処理をステップＳ０６に戻すが、そうでなければ処理をステップＳ１０に戻す。ステップＳ１０においては、処理がステップＳ２２から進む場合、新たな可変表示領域変更操作に従って、新たな操作画面を生成する。

図７は、解像度テーブルの一例を示す図である。図７を参照して、解像度テーブルは、文字の大きさごとに、操作の速さ別の縮小率を定める。縮小率の欄に対応する文字のサイズと操作の速さは、操作画面がその文字のサイズの文字を含む場合には、操作画面をその縮小率で縮小した操作画面を操作の速さで動かした場合にユーザーが文字を読み取ることのできる最小の操作の速さを示す。例えば、文字のサイズが「４ｐｔ」および縮小率「１００」に対して、サイズが「４ｐｔ」の文字を含む操作画面を縮小することなく操作画面を動かした場合にユーザーが文字を読み取ることのできる最小の操作の速さは「５ｍｍ／ｓ」であることを示す。同様に、文字のサイズが「１２ｐｔ」および縮小率「１００」に対して、サイズが「１２ｐｔ」の文字を含む操作画面を縮小することなく操作画面を動かした場合にユーザーが文字を読み取ることのできる最小の操作の速さは「４５ｍｍ／ｓ」であることを示す。

また、文字のサイズが「１２ｐｔ」および縮小率「８０」に対して、サイズが「１２ｐｔ」の文字を含む操作画面を８０％のサイズまで縮小した操作画面を動かした場合にユーザーが文字を読み取ることのできる最小の操作の速さは「２５ｍｍ／ｓ」であることを示す。

解像度テーブルにおいて、縮小率「１００」の欄に対応する操作の速さは、文字のサイズに対して予め定められたしきい値を示す。例えば、文字のサイズ「４ｐｔ」に対してしきい値「５ｍｍ／ｓ」を定め、文字のサイズ「５ｐｔ」に対してしきい値「１０ｍｍ／ｓ」を定め、文字のサイズ「６ｐｔ」に対してしきい値「１５ｍｍ／ｓ」を定め、文字のサイズ「１２ｐｔ」に対してしきい値「４５ｍｍ／ｓ」を定める。

具体例を説明するために、操作画面の画像のデータ量を１Ｍｂｙｔｅとし、１秒間に送信可能なデータ量を１０Ｍｂｙｔｅとする場合を例に説明する。この例の場合、操作画面を縮小することなく送信する場合には、フレームレートを１０（ｆｐｓ）にして、１秒間に１０の操作画面を送信することができる。また、操作画面の動きがスムーズになるフレームレートの最大値を、操作の速さ５（ｍｍ／ｓ）に対して１０ｆｐｓ、操作の速さ１０（ｍｍ／ｓ）に対して１５ｆｐｓ、操作の速さ１５（ｍｍ／ｓ）に対して２０ｆｐｓ、操作の速さ２０（ｍｍ／ｓ）に対して２５ｆｐｓ、操作の速さ２５（ｍｍ／ｓ）に対して３０ｆｐｓ、操作の速さ３０（ｍｍ／ｓ）に対して３５ｆｐｓ、操作の速さ３５（ｍｍ／ｓ）に対して４０ｆｐｓ、操作の速さ４０（ｍｍ／ｓ）に対して４５ｆｐｓ、操作の速さ４５（ｍｍ／ｓ）に対して５０ｆｐｓ、操作の速さ５０（ｍｍ／ｓ）に対して５５ｆｐｓとして説明する。

例えば、文字のサイズが「８ｐｔ」の場合、操作の速さが、しきい値「２５ｍｍ／ｓ」以下の場合には、解像度がフレームレートよりも優先される。具体的には、操作の速さが「２５ｍｍ／ｓ」の場合には縮小率「１００％」が決定される。縮小率「１００％」の場合は、１フレームのサイズが１Ｍとなり、１秒間に送信可能なデータ量１０Ｍｂｙｔｅからフレームレートが１０（ｆｐｓ）に決定される。操作の速さが「２５ｍｍ／ｓ」の場合に、動きが滑らかに認識されるフレームレートは３０（ｆｐｓ）に対して、フレームレートが１／３の１０（ｆｐｓ）に決定されるので、動きが滑らかではないが、文字を認識可能な状態で操作画面を表示することができる。また、操作の速さが「１５ｍｍ／ｓ」の場合には縮小率「９０％」が決定される。縮小率「９０％」の場合は、１フレームのサイズが０・９Ｍとなり、１秒間に送信可能なデータ量１０Ｍｂｙｔｅからフレームレートが１１（ｆｐｓ）に決定される。操作の速さが「１５ｍｍ／ｓ」の場合に、動きが滑らかに認識されるフレームレートは２０（ｆｐｓ）に対して、フレームレートが約半分の１１（ｆｐｓ）に決定されるので、動きが滑らかではないが、文字を認識可能な状態で操作画面を表示することができる。

例えば、文字のサイズが「８ｐｔ」の場合、操作の速さがしきい値「２５ｍｍ／ｓ」より大きい場合には、フレームレートが解像度よりも優先される。例えば、操作の速さが「３０ｍｍ／ｓ」に対して操作画面の動きがスムーズになるフレームレートを３５（ｆｐｓ）としている。この場合には、１フレームのサイズの最大値は、１秒間に送信可能なデータ量（１０Ｍｂｙｔｅ）をフレームレートで除算した値１０／３５（Ｍｂｙｔｅ／フレーム）となる。このため、算出された最大値１０／３５（Ｍｂｙｔｅ）を操作画面の画像のデータ量である１Ｍｂｙｔｅで除算することにより、縮小率「２９％」が決定される。この場合、文字を認識不可能な状態で操作画面が表示されるが、操作画面の動きが操作の速さに対応するので、応答性がよい。

以上説明したように本実施の形態における画像形成システム１において、ＭＦＰ１００は、画像処理装置として機能し、携帯情報装置２００により遠隔操作され、携帯情報装置２００から受信される遠隔操作指令に基づいて、ユーザーによる操作を決定し、遠隔操作指令に基づいて、ユーザーによる操作の速さを決定し、決定された操作に基づいて、コンテンツ中の表示部分を変更することによって表示用画像を生成し、決定された操作の速さに基づいて、フレームレートと解像度とのいずれを優先するかを決定し、フレームレートと解像度とのいずれか一方を優先して、フレームレートと解像度とを決定し、生成された表示用画像を決定された解像度で変更した表示用画像を、決定されたフレームレートで定まるタイミングで携帯情報装置２００に送信する。このため、携帯情報装置２００を操作するユーザーの操作の速さに基づいて、フレームレートと解像度とのいずれを優先するかを決定するので、携帯情報装置２００を操作するユーザーによる遠隔操作に対応した表示態様で携帯情報装置２００に画像を表示させることができる。

また、決定された操作の速さを、コンテンツの特徴部分のサイズに対して予め定められたしきい値と比較することによって、フレームレートと解像度とのいずれを優先するかを決定するので、特徴部分の見易さを基準にしてフレームレートと解像度とのいずれを優先するかを決定することができる。

また、ＭＦＰ１００は、解像度を優先する場合には解像度を決定した後にフレームレートを決定し、フレームレートを優先する場合にはフレームレートを決定した後に解像度を決定する。このため、解像度を優先する場合に画像を見やすくすることができ、フレームレートを優先する場合に操作に対して画像の動きを合わせることができる。

また、コンテンツが文字を含む場合には、特徴部分のサイズは文字のサイズとするので、文字を見やすくするか否かを基準にして、フレームレートと解像度とのいずれを優先するかを決定することができる。

また、コンテンツが画像を含む場合には、特徴部分のサイズはエッジ画素間の距離とするので、画像を見やすくするか否かを基準にして、フレームレートと解像度とのいずれを優先するかを決定することができる。

また、携帯情報装置２００が備える表示部２０６の表示面のサイズに基づいて、コンテンツの特徴部分のサイズを変更するので、携帯情報装置２００が備える表示部２０６の表示面のサイズがＭＦＰ１００の表示部１６１の表示面のサイズと異なる場合であっても、携帯情報装置２００を操作するユーザーによる操作に対応した表示態様で携帯情報装置２００に画像を表示させることができる。

なお、上述した実施の形態においては、画面形成システム１について説明したが、図６に示した遠隔制御処理を、ＭＦＰ１００に実行させる遠隔制御方法、その遠隔制御方法を、ＭＦＰ１００を制御するＣＰＵ１１１に実行させる遠隔制御プログラムとして発明を捉えることができるのは言うまでもない。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 画像形成システム、３ ネットワーク、５ 無線局、１００，１００Ａ，１００Ｂ ＭＦＰ、２００，２００Ａ，２００Ｂ 携帯情報装置、１１０ メイン回路、１１１ ＣＰＵ、１１２ 通信Ｉ／Ｆ部、１１３ ＲＯＭ、１１４ ＲＡＭ、１１５ ＨＤＤ、１１６ ファクシミリ部、１１７ 外部記憶装置、１１８ ＣＤ−ＲＯＭ、１２０ 自動原稿搬送装置、１３０ 原稿読取部、１４０ 画像形成部、１５０ 給紙部、１５５ 後処理部、１６０ 操作パネル、１６１ 表示部、１６３ 操作部、１６５ タッチパネル、１６７ ハードキー部、２００，２００Ａ，２００Ｂ 携帯情報装置、２０１ ＣＰＵ、２０２ カメラ、２０３ フラッシュメモリ、２０４ 無線通信部、２０５ 通話部、２０６ 表示部、２０７ 操作部、２０７Ａ メインキー、２０７Ｂ タッチパネル、２０８ 無線ＬＡＮＩ／Ｆ、２１０ 加速度センサー、２１１ 外部記憶装置、、５１ 遠隔制御部、５３ 操作決定部、５５ 処理実行部、５７ 決定部、５９ 動作生成部、６１ 表示制御部、６３ 位置検出部、６５ 削減部、７１ 解像度変換部、７３ 特徴部分サイズ決定部、７５ 削減パラメータ決定部、７７ 優先度決定部、７９ サイズ変更部、８１ 遠隔操作指令受信部、８３ 送信制御部。

Claims (6)

1. 携帯情報装置により遠隔操作される画像処理装置であって、
   前記携帯情報装置から受信される遠隔操作指令に基づいて、ユーザーによる操作を決定する操作決定手段と、
   前記受信される遠隔操作指令に基づいて、ユーザーによる操作の速さを決定する速さ決定手段と、
   前記決定された操作に基づいて、コンテンツ中の表示部分を変更することによって表示用画像を生成する画像生成手段と、
   前記決定された操作の速さを前記コンテンツの特徴部分のサイズに対して予め定められたしきい値と比較し、前記決定された操作の速さが前記しきい値より大きい場合は前記表示用画像のフレームレートを優先し、前記決定された操作の速さが前記しきい値以下の場合は前記表示用画像の解像度を優先すると決定する優先度決定手段と、
   前記優先度決定手段により前記解像度を優先すると決定される場合、前記決定された操作の速さと前記コンテンツの特徴部分のサイズとに基づいて解像度を決定し、単位時間当たりに前記携帯情報装置に送信可能なデータ量と前記決定された解像度とで定まる前記表示用画像のサイズに基づいてフレームレートを決定し、前記優先度決定手段により前記フレームレートを優先すると決定される場合、前記決定された操作の速さに基づいてフレームレートを決定し、単位時間当たりに前記携帯情報装置に送信可能なデータ量と前記決定されたフレームレートとに基づいて解像度を決定する削減パラメータ決定手段と、
   前記生成された表示用画像を前記決定された解像度に変更する解像度変換手段と、
   前記解像度が変更された表示用画像を、前記決定されたフレームレートで定まるタイミングで前記携帯情報装置に送信する送信制御手段と、を備えた、画像処理装置。
2. 前記コンテンツの特徴部分のサイズは、前記コンテンツが文字を含む場合には、文字のサイズである、請求項１に記載の画像処理装置。
3. 前記コンテンツの特徴部分のサイズは、前記コンテンツが画像を含む場合には、エッジ画素間の距離である、請求項１または２に記載の画像処理装置。
4. 前記携帯情報装置が備える表示手段の表示面のサイズに基づいて、前記コンテンツの特徴部分のサイズを変更するサイズ変更手段を、さらに備えた、請求項１〜３のいずれかに記載の画像処理装置。
5. 携帯情報装置により遠隔操作される画像処理装置で実行される遠隔制御方法であって、
   前記携帯情報装置から受信される遠隔操作指令に基づいて、ユーザーによる操作を決定する操作決定ステップと、
   前記受信される遠隔操作指令に基づいて、ユーザーによる操作の速さを決定する速さ決定ステップと、
   前記決定された操作に基づいて、コンテンツ中の表示部分を変更することによって表示用画像を生成する画像生成ステップと、
   前記決定された操作の速さを前記コンテンツの特徴部分のサイズに対して予め定められたしきい値と比較し、前記決定された操作の速さが前記しきい値より大きい場合は前記表示用画像のフレームレートを優先し、前記決定された操作の速さが前記しきい値以下の場合は前記表示用画像の解像度を優先すると決定する優先度決定ステップと、
   前記優先度決定ステップにおいて前記解像度を優先すると決定される場合、前記決定された操作の速さと前記コンテンツの特徴部分のサイズとに基づいて解像度を決定し、単位時間当たりに前記携帯情報装置に送信可能なデータ量と前記決定された解像度とで定まる前記表示用画像のサイズに基づいてフレームレートを決定し、前記優先度決定ステップにおいて前記フレームレートを優先すると決定される場合、前記決定された操作の速さに基づいてフレームレートを決定し、単位時間当たりに前記携帯情報装置に送信可能なデータ量と前記決定されたフレームレートとに基づいて解像度を決定する削減パラメータ決定ステップと、
   前記生成された表示用画像を前記決定された解像度に変更する解像度変換ステップと、
   前記解像度が変更された表示用画像を、前記決定されたフレームレートで定まるタイミングで前記携帯情報装置に送信する送信制御ステップと、を含む遠隔制御方法。
6. 携帯情報装置により遠隔操作される画像処理装置を制御するコンピューターで実行される遠隔制御プログラムであって、
   前記携帯情報装置から受信される遠隔操作指令に基づいて、ユーザーによる操作を決定する操作決定ステップと、
   前記受信される遠隔操作指令に基づいて、ユーザーによる操作の速さを決定する速さ決定ステップと、
   前記決定された操作に基づいて、コンテンツ中の表示部分を変更することによって表示用画像を生成する画像生成ステップと、
   前記決定された操作の速さを前記コンテンツの特徴部分のサイズに対して予め定められたしきい値と比較し、前記決定された操作の速さが前記しきい値より大きい場合は前記表示用画像のフレームレートを優先し、前記決定された操作の速さが前記しきい値以下の場合は前記表示用画像の解像度を優先すると決定する優先度決定ステップと、
   前記優先度決定ステップにおいて前記解像度を優先すると決定される場合、前記決定された操作の速さと前記コンテンツの特徴部分のサイズとに基づいて解像度を決定し、単位時間当たりに前記携帯情報装置に送信可能なデータ量と前記決定された解像度とで定まる前記表示用画像のサイズに基づいてフレームレートを決定し、前記優先度決定ステップにおいて前記フレームレートを優先すると決定される場合、前記決定された操作の速さに基づいてフレームレートを決定し、単位時間当たりに前記携帯情報装置に送信可能なデータ量と前記決定されたフレームレートとに基づいて解像度を決定する削減パラメータ決定ステップと、
   前記生成された表示用画像を前記決定された解像度に変更する解像度変換ステップと、
   前記解像度が変更された表示用画像を、前記決定されたフレームレートで定まるタイミングで前記携帯情報装置に送信する送信制御ステップと、を前記コンピューターに実行させる遠隔制御プログラム。

Images