JP6417894B2 - 文字入力システム、文字入力方法、携帯端末装置及び文字入力プログラム - Google Patents

Description

この発明は、プリンタ機能、ファクシミリ機能、スキャン機能等の機能を備えた多機能デジタル画像処理装置であるＭＦＰ（Multi Function Peripherals）等の画像処理装置と、スマートフォンやタブレット端末等の携帯端末装置とを備えた文字入力システム、同システムで実行される文字入方法、携帯端末装置及び文字入力プログラムに関する。

上述したようなＭＦＰ等の画像処理装置として、タッチパネルを備えた表示部に文字入力エリアを有する画面を表示し、ユーザーが文字入力エリアに文字列を入力して実行キーを押すことにより、所定の処理が実行されるものが知られている。例えば、装置の使用時にユーザー名やパスワードの入力画面にユーザー名等の文字を入力してログインする場合や、文字列を入力して検索する場合などである。

このような文字入力エリアへの文字入力は、従来では、次のような方法で行われていた。

即ち、図１４に示すように、画像処理装置１の操作パネル１３０に設けられた表示部１３１に、図１５に示すように、文字入力エリア１３１ａ及び文字入力ツールであるキーボード１３１ｂを有する文字入力画面Ｄ１０５を表示し、このキーボード１３１ｂの文字キーを押下（タッチ）することにより、文字入力エリア１３１ａに文字を入力していた。

しかし、この方法では、表示されたキーボード１３１ｂがユーザーが使い慣れた文字入力ツールとは異なり、画像処理装置１のメーカー独自の文字入力ツールであることから、使い勝手がよくないという問題がある。

そこで、装置固有の文字入力ツールを使用しなくてもよい文字入力方法として、ユーザーが普段使用しているスマートフォンやタブレット端末等の携帯端末装置上で文字入力を行うことで、画像処理装置１の文字入力エリア１３１ａに文字を入力する技術が知られている。

より詳細に説明すると、図５（Ａ）の右図に示すように、画像処理装置１の表示部１３１に初期画面Ｄ１０１を表示させた状態で、同図（Ｂ）の左図に示すように、携帯端末装置２のタッチパネルの画面Ｄ２０１上の連携ボタンを操作すると、携帯端末装置２と画像処理装置１とが無線接続され、同図（Ｃ）の左図に示すように、画像処理装置１に表示されていた初期画面Ｄ１０１がリモート画面Ｄ２０２として携帯端末装置２に表示される。なお、携帯端末装置２及び画像処理装置１には、相互に連係して動作を行う連携アプリケーションがそれぞれ予めインストールされている。

携帯端末装置２にリモート画面として表示された画像処理装置１の初期画面Ｄ２０２を、ユーザーがタッチ操作すると、タッチ操作情報が画像処理装置１に送信され、画像処理装置はタッチ操作情報を解析して対応する更新画面のデータを携帯端末装置２に送信し、携帯端末装置２はこのデータに基づいてリモート画面を更新する。

こうして、携帯端末装置２にリモート画面として表示される画像処理装置側の操作画面の表示と、ユーザーによるリモート画面のタッチ操作を繰り返すことにより、画像処理装置側の文字入力エリア１３１ａとキーボード１３１ｂを有する文字入力画面の画面データが携帯端末装置２に送信されると、図５（Ｄ）の左図に示すように、携帯端末装置２はその画面に重ねて、ユーザーが使い慣れた携帯端末装置用の文字入力補助ソフトウェア（ＩＭＥ：Input Method Editor）に基づく文字入力ツール２０５ａを合成し、文字入力画面Ｄ２０３として表示する。なお、図５（Ｄ）においてハッチングを施した部分が、合成された携帯端末装置側のＩＭＥに基づく文字入力ツールを示している。

ユーザーは携帯端末装置２に表示された使い慣れた文字入力ツール２０５ａを使用して文字を文字入力エリア１３１ａに入力したのち、入力文字を確定すると、確定された文字列が画像処理装置１に送信される。画像処理装置１は、携帯端末装置２から受信した確定文字列を入力する、というものである。

しかしながら、このようなリモート画面を用いた文字入力方式（第１の文字入力方式という）では、携帯端末装置２に文字入力ツール２０５ａを表示するまでに、画像処理装置１側の操作画面をリモート画面として表示させたり、リモート画面に対するユーザーのタッチ操作が必要であり、文字入力ツール２０５ａを表示するまでの操作が些か面倒であり、時間も要していた。

そこで、最近では、第１の文字入力方式とは異なりリモート画面を用いない第２の文字入力方式が提案されている。

この第２の文字入力方式は、図６（Ａ）の右図に示すように、画像処理装置１の表示部１３１に初期画面Ｄ１０４を表示させた状態で、ユーザーが画面を操作して更新し、同図（Ｂ）の右図に示すように、文字入力エリア１３１ａと画像処理装置独自の文字入力ツールであるキーボード１３１ｂを有する文字入力画面Ｄ１０５を表示させる。この状態で、同図（Ｂ）の左図に示すように、携帯端末装置２の画面Ｄ２０４を操作して画像処理装置１と無線接続すると、同図（Ｃ）の左図に示すように、携帯端末装置２のタッチパネル２０５に、文字入力エリア２０５ｂとユーザーが使い慣れた携帯端末装置側のＩＭＥに基づく文字入力ツール２０５ｃを有する文字入力画面Ｄ２０５が表示される。また、同図（Ｃ）の右図に示すように、画像処理装置１の文字入力画面には「ＩＭＥ入力開始」ボタン１３１ｃが表示される。

ユーザーが画像処理装置１の文字入力画面の「ＩＭＥ入力開始」ボタン１３１ｃを押すと、同図（Ｄ）に示すように、携帯端末装置２の文字入力エリア２０５ｂと画像処理装置１の文字入力エリア１３１ａが同期する。ユーザーは携帯端末装置２に表示された使い慣れた文字入力ツール２０５ｃを使用して文字入力エリア２０５ｂに文字を入力すると、文字情報が画像処理装置に送信され、同期した画像処理装置１の文字入力エリア１３１ａに文字が入力される、というものであり、画像処理装置１側の操作画面をリモート画面として携帯端末装置２に表示させたり、リモート画面をユーザーが操作する必要はなくなる。

このように、２つの文字入力方式が存在するが、いずれの入力方式にも対応可能なように、携帯端末装置１には両方の入力方式に対応するアプリケーションが搭載され、いずれかの入力方式を選択できるようになっている。

一方、画像処理装置には、第２の文字入力方式に対応できず、第１の入力方式にしか対応できないものが存在する。このような第１の入力方式にしか対応できない画像処理装置に対し、第２の文字入力方式が選択されることがある。つまり、ユーザーが画像処理装置１に表示された操作画面を操作して、文字入力エリア１３１ａと装置独自の文字入力ツールであるキーボード１３１ｂを有する画像処理装置側の文字入力画面画面を表示させた状態で、携帯端末装置２の画面をタッチ操作して画像処理装置１と無線接続する。

しかし、画像処理装置１は第１の文字入力方式にしか対応していないため、ユーザーは携帯端末装置２の画面上で第１の文字入力方式を選択し直すことになるが、第１の文字入力方式を選択し直すとユーザーが切り替わったと判断される。このため従来では、第１の文字入力方式において、ユーザーが使い慣れた携帯端末装置用のＩＭＥに基づく文字入力ツール２０５ｃを携帯端末装置に表示させるまでの操作を最初からユーザーがやり直さなければならなかった。

つまり、図５で説明したような、画像処理装置１の操作画面を携帯端末装置２にリモート画面として表示させる処理と、該リモート画面に対するユーザー操作を、画像処理装置側の初期画面から繰り返すことにより、携帯端末装置２の文字入力ツール２０５ａを有する文字入力画面Ｄ２０３（図５（Ｄ）の左図）を、携帯端末装置１に表示させる必要があった。

なお、特許文献１には、制御対象の装置に状態変化が生じた場合であっても、ユーザーの不便を抑えて処理の継続を可能とする画像処理システムとして、制御装置としての端末装置が、ＣＰＵに、ＭＦＰから画面情報を取得するための取得部と、画面情報に基づく操作画面を表示するための第１表示部と、操作画面に対するユーザー指示の位置情報をＭＦＰに送信するための第１送信部と、ＭＦＰでの通信に影響を与える状態変化の有無を判断するための判断部と、画面情報に基づいて生成される代替画面を表示するための第２表示部と、代替画面に対するユーザー指示に基づくパラメーターを格納するための格納部と、格納されたパラメーターをＭＦＰに送信するための第２送信部とを含むシステムが提案されている。

特開２０１４−１２１０３１号公報

しかしながら、携帯端末装置により第２の文字入力方式を選択したユーザーが、画像処理装置が第１の文字入力方式にしか対応できないため、第１の文字入力方式を選択し直した場合に、ユーザーが使い慣れた携帯端末装置用のＩＭＥに基づく文字入力ツールを携帯端末装置に表示させるまでの操作を最初からやり直さなければならないのでは、操作が面倒であり使い勝手が良くなかった。

なお、特許文献１に記載の技術は、第１の文字入力方式にしか対応できない画像処理装置に対して、ユーザーが携帯端末装置上で第２の文字入力方式を選択した場合に生じる前記課題を解決することはできなかった。

この発明は、このような技術的背景に鑑みてなされたものであって、第１の文字入力方式にしか対応できない画像処理装置に対して、携帯端末装置上で第２の文字入力方式を選択したユーザーが、第１の文字入力方式を選択し直した場合に、ユーザーが、使い慣れた携帯端末装置用のＩＭＥに基づく文字入力ツールを携帯端末装置に表示させるまでの操作を最初からやり直す必要をなくすことにより、操作性を向上し使い勝手の良い文字入力システム、文字入力方法、携帯端末装置及び文字入力プログラムを提供することを課題とする。

上記課題は、以下の手段によって解決される。
（１）相互に接続可能な画像処理装置と携帯端末装置とを備えた文字入力システムであって、前記画像処理装置は、タッチパネルを有する表示手段と、前記表示手段に表示される自装置の操作画面の画面データを前記携帯端末装置に送信する送信手段と、前記画面データを受信した携帯端末装置でリモート画面として再生された前記操作画面をユーザーが操作したときに、前記携帯端末装置から送信される操作データを受信する受信手段と、前記受信手段により受信した操作データに基づいて、操作データで指示される画面更新処理を含む処理を実行する処理実行手段と、を備え、前記携帯端末装置は、タッチパネルを有する表示手段と、前記画像処理装置からの前記画面データに基づいて前記リモート画面を前記表示手段に表示させる表示制御手段と、前記表示制御手段により前記表示手段に表示される画像処理装置の初期画面から開始される複数のリモート画面に対するユーザーの操作を経て、リモート画面中の文字入力エリアと自装置に搭載された複数の文字キー有する文字入力ツールを合成した文字入力画面を前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記画像処理装置に対する文字入力を行う第１の文字入力手段と、自装置に搭載された複数の文字キー有する文字入力ツールを前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記第１の文字入力手段とは異なる方式で、前記画像処理装置に対する文字入力を行う第２の文字入力手段と、前記第１の文字入力手段と前記第２の文字入力手段のいずれで画像処理装置に対する文字入力を行うかを選択する選択手段と、を備え、前記携帯端末装置の表示制御手段は、前記第２の文字入力手段が選択されたときに、文字入力対象の画像処理装置が前記第２の文字入力手段に対応しておらず、ユーザーにより前記第１の文字入力手段が再選択された場合、前記画像処理装置と連携して、前記初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、前記第１の文字入力手段における前記文字入力画面を前記表示手段に表示させることを特徴とする文字入力システム。
（２）前記携帯端末装置は、前記第２の文字入力手段が選択されたときに、文字入力対象の画像処理装置が前記第２の文字入力手段に対応していないことを、前記画像処理装置からの通知により判定する前項１に記載の文字入力システム。
（３）前記携帯端末装置は、前記第２の文字入力手段が選択されたときに、文字入力対象の画像処理装置が前記第２の文字入力手段に対応していないことを、自装置内の記憶手段に記憶された、画像処理装置が第２の文字入力手段に対応可能か否かの情報に基づいて、判定する前項１に記載の文字入力システム。
（４）前記画像処理装置において、表示手段に表示された初期画面に対する操作から始まる複数回のユーザーのタッチ操作を経て、文字入力エリアを有する文字入力画面を前記表示手段に表示させた状態で、前記携帯端末装置と画像処理装置とが接続されることにより、前記携帯端末装置の第２の文字入力手段は有効状態となり、前記画像処理装置は、前記初期画面から前記文字入力画面が表示されるまでに行われた複数回のユーザーのタッチ操作情報を保存するログ保存手段を備え、ユーザーにより前記第１の文字入力手段が再選択されたときに、前記携帯端末装置の表示制御手段は、前記画像処理装置から前記ログ保存手段に保存されたユーザーのタッチ操作情報を取得し、該取得したタッチ操作情報に基づき、前記初期画面から始まる複数のリモート画面に対応するタッチ操作情報を再生して前記画像処理装置に送信することにより、前記第１の文字入力手段における文字入力画面を前記表示手段に表示させる前項１〜３のいずれかに記載の文字入力システム。
（５）前記タッチ操作情報は、タッチされた画面上の位置を示す座標情報と、座標情報に対応する処理内容を含み、前記ログ保存手段には前記座標情報と処理内容がタッチ操作情報の順に時系列に記録されている前項４に記載の文字入力システム。
（６）前記携帯端末装置は、前記取得したタッチ操作情報から初期画面を特定するとともに、特定した初期画面を起点として、前記初期画面から始まる複数のリモート画面に対し対応するタッチ操作情報を再生して前記画像処理装置に送信する前項４または５に記載の文字入力システム。
（７）前記画像処理装置は、表示手段に表示された初期画面に対する操作から始まる複数回のユーザーのタッチ操作を経て、文字入力エリアを有する文字入力画面を表示手段に表示させるとともに、前記文字入力画面が表示されているときの画像処理装置の状態を規定する設定データを保存する設定データ保存手段を備え、前記画像処理装置の表示手段に前記文字入力エリアを有する文字入力画面が表示された状態で、前記携帯端末装置と画像処理装置とが接続されることにより、前記携帯端末装置の第２の文字入力手段は有効状態となり、ユーザーにより前記第１の文字入力手段が再選択されたときに、前記画像処理装置は、前記設定データ保存手段に保存された、文字入力画面が表示されているときの画像処理装置の状態を規定する設定データに基づいて、文字入力画面の画面データを前記携帯端末装置に送信し、前記携帯端末装置は、送信された前記文字入力画面の画面データに基づいて、前記第１の文字入力手段における文字入力画面を前記表示手段に表示させる前項１〜３のいずれかに記載の文字入力システム。
（８）前記携帯端末装置は、前記第２の文字入力手段が選択されたときに、文字入力対象の画像処理装置が前記第２の文字入力手段に対応していない場合は、ユーザーに前記第１の文字入力手段を再選択するかどうかの確認画面を表示する前項１〜７のいずれかに記載の文字入力システム。
（９）相互に接続可能な画像処理装置と携帯端末装置とを備えた文字入力システムで実行される文字入力方法であって、前記画像処理装置は、タッチパネルを有する表示手段に表示される自装置の操作画面の画面データを前記携帯端末装置に送信する送信ステップと、前記操作画面の画面データを受信した携帯端末装置でリモート画面として再生された前記操作画面をユーザーが操作したときに、前記携帯端末装置から送信される操作データを受信する受信ステップと、前記受信ステップにより受信した操作データに基づいて、操作データで指示される画面更新処理を含む処理を実行する処理実行ステップと、を実行し、前記携帯端末装置は、前記画像処理装置からの前記画面データに基づいて前記リモート画面をタッチパネルを有する表示手段に表示させる表示制御ステップと、前記表示制御ステップにより前記表示手段に表示される画像処理装置の初期画面から開始される複数のリモート画面に対するユーザーの操作を経て、リモート画面中の文字入力エリアと自装置に搭載された複数の文字キー有する文字入力ツールを合成した文字入力画面を前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記画像処理装置に対する文字入力を行う第１の文字入力ステップと、自装置に搭載された複数の文字キー有する文字入力ツールを前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記第１の文字入力ステップとは異なる方式で、前記画像処理装置に対する文字入力を行う第２の文字入力ステップと、前記第１の文字入力ステップと前記第２の文字入力ステップのいずれで画像処理装置に対する文字入力を行うかを選択する選択ステップと、を実行し、前記携帯端末装置の表示制御ステップでは、前記第２の文字入力ステップが選択されたときに、文字入力対象の画像処理装置が前記第２の文字入力ステップに対応しておらず、ユーザーにより前記第１の文字入力ステップが再選択された場合、前記画像処理装置と連携して、前記初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、前記第１の文字入力ステップにおける前記文字入力画面を前記表示手段に表示させることを特徴とする文字入力方法。
（１０）前項１〜８のいずれかに記載の文字入力システムに用いられる携帯端末装置。
（１１）前項１〜８のいずれかに記載の文字入力システムに用いられる携帯端末装置のコンピュータに、前記文字入力システムに用いられる画像処理装置と接続するための接続ステップと、前記画像処理装置の表示手段に表示される画像処理装置の操作画面の画面データを受信する受信ステップと、前記受信ステップにより受信した前記画面データに基づいて、前記操作画面をリモート画面としてタッチパネルを有する表示手段に表示させる表示制御ステップと、前記表示制御ステップにより前記表示手段に表示される画像処理装置の初期画面から開始される複数のリモート画面に対するユーザーの操作を経て、リモート画面中の文字入力エリアと自装置に搭載された複数の文字キー有する文字入力ツールを合成した文字入力画面を前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記画像処理装置に対する文字入力を行う第１の文字入力ステップと、自装置に搭載された複数の文字キー有する文字入力ツールを前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記第１の文字入力ステップとは異なる方式で、前記画像処理装置に対する文字入力を行う第２の文字入力ステップと、前記第１の文字入力ステップと前記第２の文字入力ステップのいずれで画像処理装置に対する文字入力を行うかを選択する選択ステップと、を実行させ、前記表示制御ステップでは、前記第２の文字入力ステップが選択されたときに、文字入力対象の画像処理装置が前記第２の文字入力ステップに対応しておらず、ユーザーにより前記第１の文字入力ステップが再選択された場合、前記画像処理装置と連携して、前記初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、前記第１の文字入力ステップにおける文字入力画面を前記表示手段に表示させる処理を前記コンピュータに実行させるための文字入力プログラム。

前項（１）に記載の発明によれば、携帯端末装置において、ユーザーにより第２の文字入力手段が選択されたときに、文字入力対象の画像処理装置が第２の文字入力手段に対応しておらず、ユーザーにより第１の文字入力手段が再選択された場合、画像処理装置と連携して、初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、ユーザーが使い慣れた携帯端末装置側の文字入力ツールを有する文字入力画面が携帯端末装置の表示手段に表示されるから、ユーザーは前記文字入力ツールを携帯端末装置に表示させるまでの操作を最初からやり直す必要はなくなる。このため、操作性を向上でき使い勝手の良い文字入力システムとなる。

前項（２）に記載の発明によれば、携帯端末装置は、第２の文字入力手段が選択されたときに、文字入力対象の画像処理装置が第２の文字入力手段に対応していないことを、画像処理装置からの通知により確実に判定することができる。

前項（３）に記載の発明によれば、携帯端末装置は、第２の文字入力手段が選択されたときに、文字入力対象の画像処理装置が第２の文字入力手段に対応していないことを、自装置内の記憶手段に記憶された、画像処理装置が第２の文字入力手段に対応可能か否かの情報に基づいて、確実に判定することができる。

前項（４）に記載の発明によれば、ユーザーにより第１の文字入力手段が再選択されたときに、携帯端末装置は画像処理装置からログ保存手段に保存されたユーザーのタッチ操作情報を取得し、該取得したタッチ操作情報に基づき、初期画面から始まる複数のリモート画面に対応するタッチ操作情報を画像処理装置に送信することにより、ユーザーが使い慣れた携帯端末装置側の文字入力ツールを有する文字入力画面を携帯端末装置の表示手段に表示させるから、ユーザーは携帯端末装置側の文字入力ツールを携帯端末装置に表示させるまでの操作を最初からやり直す必要はなくなる。

前項（５）に記載の発明によれば、タッチ操作情報は、タッチされた画面上の位置を示す座標情報と、座標情報に対応する処理内容を含み、ログ保存手段には前記座標情報と処理内容がタッチ操作情報の順に時系列に記録されているから、携帯端末装置はユーザーが使い慣れた携帯端末装置側の文字入力ツールを有する文字入力画面を容易に表示することができる。

前項（６）に記載の発明によれば、取得したタッチ操作情報から初期画面が特定され、この特定された初期画面を起点として、初期画面から始まる複数のリモート画面に対応するタッチ操作情報が画像処理装置に送信される。

前項（７）に記載の発明によれば、ユーザーにより第１の文字入力手段が再選択されたときに、画像処理装置は、設定データ保存手段に保存された文字入力画面が表示されているときの画像処理装置の状態を規定する設定データに基づいて、文字入力画面の画面データを携帯端末装置に送信し、携帯端末装置は、送信された文字入力画面の画面データに基づいて、ユーザーが使い慣れた携帯端末装置側の文字入力ツールを有する文字入力画面を携帯端末装置の表示手段に表示させるから、ユーザーは携帯端末装置側の文字入力ツールを携帯端末装置に表示させるまでの操作を最初からやり直す必要はなく、しかも画像処理装置からの画面データの送信や携帯端末装置からのリモート画面のタッチ操作情報の送信を繰り返すことなく短時間で、ユーザーが使い慣れた携帯端末装置側の文字入力ツールを有する文字入力画面を携帯端末装置の表示手段に表示させることができる。

前項（８）に記載の発明によれば、第２の文字入力手段が選択されたときに、文字入力対象の画像処理装置が第２の文字入力手段に対応していない場合は、ユーザーに第１の文字入力手段を再選択するかどうかの確認画面が表示されるから、ユーザーは文字入力対象の画像処理装置が第２の文字入力手段に対応していないことを容易に認識できる。

前項（９）に記載の発明によれば、ユーザーにより第１の文字入力手段が再選択された場合、画像処理装置と連携して、初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、ユーザーが使い慣れた携帯端末装置側の文字入力ツールを有する文字入力画面が携帯端末装置の表示手段に表示されるから、ユーザーは前記文字入力ツールを携帯端末装置に表示させるまでの操作を最初からやり直す必要はなくなり、操作性を向上できる。

前項（１０）に記載の発明によれば、ユーザーにより第１の文字入力手段が再選択された場合、画像処理装置と連携して、初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、ユーザーが使い慣れた携帯端末装置側の文字入力ツールを有する文字入力画面を表示手段に表示できる携帯端末装置となる。

前項（１１）に記載の発明によれば、ユーザーにより第１の文字入力手段が再選択された場合、画像処理装置と連携して、初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、ユーザーが使い慣れた携帯端末装置側の文字入力ツールを有する文字入力画面を表示手段に表示する処理を、携帯端末装置のコンピュータに実行させることができる。

この発明の一実施形態に係る文字入力システムの構成図である。 画像処理装置の内部構成を示す図である。 携帯端末装置の構成を示すブロック図である。 画像処理装置の操作画面を携帯端末装置にリモート画面として表示し、このリモート画面をユーザーが操作することにより携帯端末装置から画像処理装置をリモート操作する場合の動作の概要を説明するための図である。 第１の文字入力方式により携帯端末装置から画像処理装置に文字入力を行う場合の説明図である。 第２の文字入力方式により携帯端末装置から画像処理装置に文字入力を行う場合の説明図である。 携帯端末装置の表示部に第１の文字入力方式と第２の文字入力方式の選択キーが表示されている状態を示す図である。 第１の文字入力方式にしか対応していない画像処理装置に、ユーザーが携帯端末装置で第２の文字入力方式を選択した場合の動作を説明するための図である。 図８の続きである。 図９の続きである。 第１の文字入力方式にしか対応していない画像処理装置に、ユーザーが携帯端末装置で第２の文字入力方式を選択した場合の画像処理装置と携帯端末装置との間のやりとりを示すシーケンス図である。 ユーザーが携帯端末装置で第２の文字入力方式を選択したときの携帯端末装置の動作を示すフローチャートである。 図１２のフローチャートのステップＳ３８のタッチイベント復元処理のサブルーチンを示すフローチャートである。 画像処理装置の外観斜視図である。 図１４の画像処理装置の表示部に、文字入力画面を表示した状態の図である。

以下、この発明の実施形態を図面に基づいて説明する。

図１は、この発明の一実施形態に係る文字入力システムの構成図である。

本システムは、それぞれ複数の画像処理装置１と携帯端末装置２と情報処理装置３から構成される。画像形成装置１、携帯端末装置２、情報処理装置３は、いずれもネットワーク４を介して接続されている。

ここで、ネットワーク４は、ＬＡＮ（Local Area Network）などの専用回線を用いたネットワーク、一般回線を用いたネットワーク、無線通信によるネットワーク、のいずれであっても構わない。また、ネットワーク４は、外部ネットワークを介して、他のネットワークと接続されている。

画像形成装置１は、走査した原稿画像、および情報処理装置３から送信されたプリントデータから生成した画像の複写画像を用紙上に形成する装置であり、この実施形態では、プリンタ機能、ファクシミリ機能、スキャン機能等の機能を備えた多機能デジタル画像処理装置である前述したＭＦＰが用いられている。以下、画像処理装置をＭＦＰともいう。ここで、プリントデータとは、情報処理装置３のオペレーティングシステムやアプリケーションプログラムが発行する描画命令を、プリンタドライバによって画像形成装置１が処理可能なページ記述言語に変換したページ記述言語による描画命令、もしくは、ＰＤＦ、ＴＩＦＦ、ＪＰＥＧ、ＸＰＳ等のファイルフォーマットで記述された文書データである。

また、走査した原稿画像は、ネットワーク４を介して、情報処理装置３、さらにはその他のＭＦＰに送信することもできる。さらには、外部ネットワークを介して、別のネットワークに接続された他のＭＦＰや情報処理装置に原稿画像を送信することもできる。さらに、操作した原稿画像や情報処理装置から受信した文書データを固定記憶装置に蓄積することもできる。

携帯端末装置２は、ＣＰＵ、ＲＡＭ、固定記憶装置（ハードディスク装置など）、モニタ、タッチ操作可能な液晶パネル等を有する携帯型のコンピュータ装置である。電子化された文書を蓄積して持ち運び、どこでも閲覧、編集を行うことができる。また、無線通信する手段を有し、ＭＦＰ１や情報処理装置３との間で文書の送受信を行うことができるほか、ＭＦＰ１を遠隔操作する手段を有する。以下の説明では携帯端末装置を単に携帯端末とも言う。

情報処理装置３は、ＣＰＵ、ＲＡＭ、固定記憶装置（ハードディスク装置など）、モニタ、キーボード、マウス等の接続された一般的なコンピュータ装置である。情報処理装置３は、ユーザの指示によリプリントデータを生成し、生成したプリントデータをＭＦＰ１に送信する。

図２は、ＭＦＰ１の内部構成を示す図である。ＭＦＰ１のＣＰＵ１０１には、制御プログラムの格納されたＲＯＭ１０２、作業用のＳ−ＲＡＭ（Static Random Access Memory）１０３、画像形成に関わる各種の設定を記憶するバッテリバックアップされたＮＶ−ＲＡＭ（不揮発性メモリ）１０４、時計ＩＣ１０５がバスを介して接続され、ＭＦＰ１の全体を統括的に制御する制御部１００を構成している。

制御部１００には、原稿画像を読み取る画像読取装置１２０、各種の入力を行うテンキー、プリントキー、ログアウトキーなどの各種キーや表示部１３１を備えた操作パネル１３０、ネットワーク４を介して接続された情報処理装置３−ｙをはじめとする外部の装置との間で各種の情報を送受信する為のネットワークインターフェース（ネットワークＩ／Ｆ）１６０、該ネットワークインターフェース１６０により受信したプリントデータから複写画像を生成するプリンタコントローラ１５０、複写画像を用紙上に形成する画像出力装置１４０がそれぞれバスを介して接続されている。

また、制御部１００には、固定記憶装置１１０がバスを介して接続されている。固定記憶装置１１０とは例えばハードディスク装置である。この固定記憶装置１１０には、各種のデータが記憶されている。

また、ワイヤレスインターフェース（WirelessＩ／Ｆ）１７０と短距離無線インターフェース（短距離無線Ｉ／Ｆ）１８０が、バスを介して制御部１００に接続されている。ワイヤレスインターフェース１７０は、ネットワークとの通信や携帯端末装置２との通信に利用され、短距離無線インターフェース１８０は例えばブルートゥースや赤外線通信（ＩｒＤＡ：Infrared Data Association）等の短距離無線通信を行うためのインターフェースである。

図３は携帯端末２の構成を示すブロック図である。携帯端末２は、例えばタブレット端末や携帯電話などからなり、ＣＰＵ２０１、制御プログラムの格納されたＲＯＭ２０２、作業用のＲＡＭ２０３を備え、ＲＯＭ２０２及びＲＡＭ２０３はそれぞれバスを介してＣＰＵ２０１に接続されている。また、ＣＰＵ２０１、ＲＯＭ２０２及びＲＡＭ２０３により、携帯端末２の全体を統括的に制御する制御部２００を形成している。

制御部２００には、各種の情報を表示するとともに画面を直接タッチして操作入力を行うタッチパネル２０５、ワイヤレスランインターフェース２０６、短距離無線インターフェース２０７が、バスを介してそれぞれ接続されている。ワイヤレスランインターフェース２０６は、ネットワークとの通信やＭＦＰ１との通信に利用され、短距離無線インターフェース２０７は例えばブルートゥースや赤外線通信等の短距離無線通信を行うためのインターフェースである。

さらに、制御部２００には固定記憶装置２０４がバスを介して接続されている。固定記憶装置２０４とは例えばハードディスク装置である。この固定記憶装置２０４には、各種のデータが記憶されている。

図４は、ＭＦＰ１の操作画面を携帯端末２にリモート画面として表示し、このリモート画面をユーザーが操作することにより携帯端末２からＭＦＰ１をリモート操作する場合の動作の概要を説明するための図である。

ＭＦＰ１の表示部１３１に初期画面が表示されている状態で、携帯端末２とＭＦＰ１を無線接続すると、ＭＦＰ１から携帯端末２へ初期画面の画面データが送信される（ステップＳ１０５）。携帯端末２は画面データを受信すると（ステップＳ２０１）、画面データに基づいて画像を展開したのち（ステップＳ２０２）、タッチパネル２０５にリモート画面として描画する（ステップＳ２０３）。

ユーザーが表示されたリモート画面に対してタッチパネル２０５上でタッチ操作すると（ステップＳ２０４）、携帯端末２はタッチ位置の座標を検出・特定したのち（ステップＳ２０５）、ジャスチャーの種類判定を行うとともに座標をＭＦＰ１側の表示部１３１の座標に変換し（ステップＳ２０６）、座標データを含む操作情報（タッチイベント）をＭＦＰ１に送信する（ステップＳ２０７）。

ＭＦＰ１はタッチイベントの受信処理を行ったのち（ステップＳ１０６）、タッチイベント処理によりタッチイベントの内容を解析し（ステップＳ１０７）、解析されたタッチイベントに応じた次の表示画面を内部処理により特定する（ステップＳ１０１）。そして、特定された画面を構成するために必要な例えばボタン等のパーツを画面作成処理（ステップＳ１０２）により合成して画面データを作成した後、この画面データを圧縮して（ステップＳ１０３）、携帯端末２に送信する（ステップＳ１０４）。

携帯端末２は、初期画面の場合と同様にして、受信した画面データに基づいてリモート画面を表示する。ユーザーがリモート画面にタッチ操作すると、タッチイベントがＭＦＰ１に送信され、ＭＦＰ１は対応する次の画面を作成し、あるいは対応する処理を実行する。以下、必要に応じて、ＭＦＰ１でのタッチイベントに基づく画面データの作成や処理の実行と、携帯端末２でのリモート画面の表示及びタッチイベントの送信等が繰り返されることにより、携帯端末２からＭＦＰ１が操作される。

このようなリモート画面を利用し、かつ携帯端末２に搭載されている携帯端末２側のＩＭＥに基づく文字入力ツールを携帯端末２のタッチパネル２０５に表示させて、ＭＦＰ１に文字入力を行う場合の動作を図５を用いて説明する。図５では、左側に携帯端末２の画面を右側にＭＦＰ１の画面をそれぞれ示す。

図５（Ａ）の右図に示すように、ＭＦＰ１の表示部１３１に初期画面Ｄ１０１が表示されている状態で、携帯端末２を操作してＭＦＰ１と無線接続し、図５（Ｂ）の左図に示すように、携帯端末２のタッチパネル２０５に表示された文字入力モード選択画面Ｄ２０１上で文字入力モードキーを押す。

すると、ＭＦＰ１から初期画面の画面データが携帯端末２に送信され、図５（Ｃ）の左図に示すように、携帯端末２のタッチパネル２０５には初期画面に対応するリモート画面Ｄ２０２が表示される。携帯端末２にリモート画面として表示されたＭＦＰ１の初期画面Ｄ２０２をユーザーが操作すると、タッチイベントがＭＦＰ１に送信され、ＭＦＰ１はタッチイベントを解析して対応する更新画面のデータを携帯端末２に送信し、携帯端末２はこのデータに基づいてリモート画面を更新する。

こうして、携帯端末２におけるリモート画面の表示とユーザー操作を繰り返すことにより、ＭＦＰ１の文字入力エリアを有する画面が、リモート画面として携帯端末２に送信されると、携帯端末２は図５（Ｄ）の左図に示すように、その画面に重ねて、ユーザーが使い慣れた携帯端末装置２側のＩＭＥに基づく文字入力ツール２０５ａを有する文字入力画面Ｄ２０３が表示される。この文字入力画面Ｄ２０３には、携帯端末装置２側の文字入力ツール２０５ａの他に、ＭＦＰ側の文字入力エリア１３１ａとキーボード１３１ｂがリモート画面の一部として表示されている。なお、図５（Ｄ）の左図においてハッチングを施した部分が、合成された携帯端末装置２側のＩＭＥに基づく文字入力ツール２０５ａを示している。

携帯端末２との無線接続後は、ＭＦＰ１の表示部１３１には無線接続中であることを示す画面Ｄ１０２が表示される。

ユーザーは携帯端末装置２に表示された使い慣れた文字入力ツール２０５ａの文字キーを使用して文字を入力したのち、入力文字を確定すると、確定された文字列がＭＦＰ１に送信される。ＭＦＰ１は、携帯端末２から受信した確定文字列を文字入力エリアに入力する。

一方、いくつかのＭＦＰ１には、上記の図５で説明した文字入力方式（第１の文字入力方式）とは異なる別の文字入力方式（第２の文字入力方式）により、文字入力が可能となっている。なお、以下の説明では、第１の文字入力方式を第１のモード、第２の文字入力方式を第２のモードともいう。

この第２のモードを図６を用いて説明する。図６では、左側に携帯端末２の画面を右側にＭＦＰ１の画面をそれぞれ示す。

図６（Ａ）の右図に示すように、ＭＦＰ１の表示部１３１に初期画面Ｄ１０４を表示させた状態で、ユーザーが画面を操作して更新し、図６（Ｂ）の右図に示すように、文字入力エリア１３１ａとＭＦＰ１の独自の文字入力ツールであるキーボード１３１ｂを有する画面を表示させる。つまり、文字入力可能な画面に遷移させる。

この状態で、図６（Ｂ）の左図に示すように、携帯端末２の画面Ｄ２０４を操作してＭＦＰ１と無線接続すると、図６（Ｃ）の左図に示すように、携帯端末２のタッチパネル２０５に、ユーザーが使い慣れた携帯端末２のＩＭＥに基づく文字入力ツール２０５ｃが文字入力エリア２０５ｂと共に表示される。この状態では、ＭＦＰ１と携帯端末２とはまだ同期しておらず、図６（Ｃ）の右図に示すように、ユーザーがＭＦＰ１の表示画面に表示された「ＩＭＥ入力開始」キー１３１ｃをタッチすると、図６（Ｄ）に示すように、ＭＦＰ１と携帯端末２が同期する。また、ＭＦＰ１の表示部１３１には、文字入力エリア１３１ａと「端末入力中」のメッセージと「ＩＭＥ入力終了」キー１３１ｄが表示される。

ＭＦＰ１と携帯端末２が同期した状態で、ユーザーは携帯端末２に表示された使い慣れた文字入力ツール２０５ｃの文字キーを使用して文字を入力すると、入力された文字情報がＭＦＰ１に送信され、携帯端末２と同期したＭＦＰ１の文字入力エリア１３１ａにも文字が入力される。

この第２のモードは、ＭＦＰ１の表示部１３１の画面を操作しつつ、携帯端末２を外部キーボードのように利用するため、ＭＦＰ１の設定画面はＭＦＰ１の表示部１３１に、文字入力ツール２０５ｃは携帯端末２に表示される。また、ＭＦＰ１の操作ユーザーと携帯端末２の操作ユーザーは同一であるため、ＭＦＰ１の設定や画面を維持したまま、携帯端末２側の文字入力ツール２０５ｃを利用できる。

このように、文字入力方式として第１のモードと第２のモードが存在するが、携帯端末２にはいずれのモードにも対応するためのアプリケーションが搭載されている。このため、ＭＦＰ１への文字入力を行う場合は、図７に示すように、第１のモードの選択キーである第１のモードキー２０５ｆと第２のモードの選択キーである第２のモードキー２０５ｇがタッチパネル２０５に表示され、いずれかのモードキーを操作して選択するようになっている。

一方、ＭＦＰ１によっては、第１のモードと第２のモードのいずれにも対応可能なアプリケーションが搭載されている装置もあれば、第１のモードにしか対応しておらず、第２のモードには対応できない装置もある。

このような第１のモードにしか対応していないＭＦＰ１に、ユーザーが携帯端末２で第２のモードを選択した場合の動作を、図８〜図１０を用いて説明する。これらの図において、左側の画面が携帯端末２のタッチパネル２０５の画面を示しており、右側の図がＭＦＰ１の表示部１３１の画面を示している。

ユーザーは、図８（Ａ）の右図に示すように、ＭＦＰ１の表示部１３１に初期画面Ｄ１０４を表示させた状態で該画面を操作して、同図（Ｂ）の右図に示すように、画面Ｄ１０８を更新し、さらに操作を行って同図（Ｃ）の右図に示すように、文字入力エリア１３１ａとＭＦＰ１の独自の文字入力ツールであるキーボード１３１ｂを有する文字入力画面Ｄ１０５を表示させる。つまり、文字入力可能な画面に遷移させる。

この状態で、同図（Ｃ）の左図に示すように、ユーザーが携帯端末２のタッチパネル２０５に表示された画面上の文字入力モードボタン２ａを操作する。すると、図９（Ｄ）の左図に示すように、第１のモードでの接続連携を要求する第１のモードキー２０５ｆと、第２のモードでの接続連携を要求する第２のモードキー２０５ｇが表示される。

ここで、同図（Ｄ）の左図にハッチングで示すように、ユーザーが第２のモードキー２０５ｇを選択操作したとする。すると、携帯端末２からＭＦＰ１へ第２のモードでの接続連携（第２の文字入力方式による連携）が要求されるが、ＭＦＰ１は第２のモードに対応していないため、ＭＦＰ１は前記連携要求に対して対応できない旨の不可通知を携帯端末２に送信する。

この通知を受けて、携帯端末２は同図（Ｅ）の左図に示すように、「第２のモードは利用できないこと、第１のモードであれば利用できること、を示すメッセージをタッチパネルに表示すると共に、第１のモードを使用するかどうかの選択キー（ＹＥＳキーとＮＯキー）を表示する。このように、第２のモードが選択されたときに、ＭＦＰ１が第２のモードに対応していない場合は、ユーザーに第１のモードを再選択するかどうかの確認画面が表示されるから、ユーザーはＭＦＰ１が第２のモードに対応していないことを容易に認識できる。

ユーザーが第１のモードを使用するためにＹＥＳキーを押すと、ＭＦＰ１へ操作ログ情報を要求し、ＭＦＰ１は操作ログ情報を携帯端末２に送信する。この操作ログ情報は、ユーザーが表示部１３１に表示された操作画面に対して行ったタッチ操作の内容を示すものであり、具体的には、タッチされた画面上の位置を示す座標情報と、座標情報に対応する処理内容を含み、ＭＦＰ１はユーザーによる操作が行われるたびに、これらの座標情報と処理内容をタッチ操作の順に時系列に固定記憶装置１１０等に記録している。従って、図８（Ａ）〜（Ｃ）の右図に示した初期画面から文字入力画面までの各画面についての操作ログ情報も保存されている。

操作ログ情報の取得後、携帯端末２は図９（Ｆ）の左図にハッチングで示すように、第１のモードキー２０５ｆを押し、ＭＦＰ１に対して第１のモードでの接続連携（第１の文字入力方式による連携）を要求する。

第２のモードから第１のモードへの切り替えは、ユーザーの切り替わりを意味し、前記要求を受けてＭＦＰ１は最初から第１のモードによる接続連携が要求された場合と同様に、初期画面の画面データを携帯端末２に送信する。

携帯端末２は初期画面の画面データを受信すると、図１０の左図に示すように、この初期画面Ｄ２０２をリモート画面としてタッチパネル２０５に表示する。なお、以後、ＭＦＰ１の表示部１３１には無線接続中であることを示す画面Ｄ１０２が表示される。

携帯端末２は、既に取得してあるＭＦＰ１の操作ログ情報を解析し、図８（Ａ）〜（Ｃ）に示した初期画面Ｄ１０４から文字入力画面Ｄ１０５までの操作ログ情報を抽出する。そして、ユーザーが初期画面Ｄ１０４に対してＭＦＰ１で行った操作ログ情報を特定し、その操作ログ情報で示される操作と同じ操作内容のタッチイベントを再生して、ＭＦＰ１に送信する。

なお、初期画面Ｄ１０４から文字入力画面Ｄ１０５までの操作ログ情報の抽出、及びユーザーが初期画面Ｄ１０４に対してＭＦＰ１で行った操作ログ情報の特定の仕方は、特に限定されないが、例えば、携帯端末２にＭＦＰ１の初期画面Ｄ１０４を予め認識可能に設定しておき、この初期画面Ｄ１０４を基に、操作ログ情報の中から初期画面Ｄ１０４を特定して初期画面Ｄ１０４に対して行われた操作のログ情報を特定し、この特定されたログ情報から最新の操作ログ情報までを抽出することにより行うことができる。

タッチイベントを受信したＭＦＰ１は、受信したタッチイベントに対応する画面データを生成して携帯端末２に送信すると、携帯端末２は図１０（Ｉ）の左図に示すように、受信した画面データに基づいてリモート画面Ｄ２０９を更新する。

そして、操作ログ情報の中から、初期画面の次の画面に対して行われた操作ログ情報を特定し、この操作ログ情報で示される操作と同じ操作内容のタッチイベントを再生して、ＭＦＰ１に送信する。このような操作を繰り返し、第１のモードが直接に選択された場合と同じように、図１０（Ｊ）の左図に示すような、携帯端末２側の文字入力エリア１３１ａと文字入力ツール１３１ｂが表示されるとともに、ハッチングで示したような携帯端末２側の文字入力ツール２０５ａが重ねて表示された文字入力画面Ｄ２１０が、携帯端末２のタッチパネル２０５に表示される。

このように、この実施形態では、第１のモードにしか対応していないＭＦＰ１に対して、ユーザーが携帯端末２から第２のモードを選択してＭＦＰ１と接続したのち、第１のモードを選択し直した場合において、ＭＦＰ１から送信される画面データに基づいて携帯端末２に表示されるリモート画面に対して、ＭＦＰ１から取得した操作ログ情報を基に、ユーザーが操作したのと同じ操作内容のタッチイベントを携帯端末２が自動的に再生してＭＦＰ１に送信し、最終的に携帯端末２の文字入力ツール２０５ａを有する文字入力画面Ｄ２１０を自動的に表示する。このため、ユーザーはリモート画面に対するタッチ操作を行う必要はなくなるから、操作性が向上し、使い勝手が良くなる。

図１１は、第１のモードにしか対応していないＭＦＰ１に、ユーザーが携帯端末２で第２のモードを選択した場合のＭＦＰ１と携帯端末２との間のやりとりを示すシーケンス図である。

ユーザー操作に基づいて、携帯端末１は第２のモードでの接続連携をＭＦＰ１に要求する（ステップＳ１１）。ＭＦＰ１は、第１のモードにしか対応できない旨の不可通知を携帯端末２に送信する（ステップＳ１２）。

この不可通知を受けた携帯端末２は、不可通知によりＭＦＰ１が第２のモードに対応できないと判断し、ＭＦＰ１に操作ログを要求し（ステップＳ１３）、ＭＦＰ１は携帯端末２に操作ログを送信する（ステップＳ１４）。

携帯端末２は受信した操作ログから、初期画面から文字入力画面の表示に至るまでのタッチイベントを抽出したのち（ステップＳ１５）、第１のモードでの接続連携を要求する（ステップＳ１６）。この要求を受けて、ＭＦＰ１は初期画面の画面データを携帯端末２に送信する（ステップＳ１７）。

初期画面の画面データを受信した携帯端末２は、操作ログ情報の中から抽出したタッチイベントのうち、初期画面に対して行われたタッチイベントを再生してＭＦＰ１に送信する（ステップＳ１８）。このタッチイベントを受信したＭＦＰ１は、タッチイベントを実行して次画面を生成するとともに、必要な設定を行う（ステップＳ１９）。そして、生成した画面のデータを携帯端末２に送信する（ステップＳ２０）。

携帯端末２は画面データを受信して、操作ログ情報の中から抽出したタッチイベントのうち、該画面に対して行われたタッチイベントを再生してＭＦＰ１に送信する（ステップＳ２１）。このようなＭＦＰ１からの画面データの送信と携帯端末２からのタッチイベントの送信を繰り返して、最終的に、ＭＦＰ１は文字入力エリアとＭＦＰ自身のＩＭＥに基づく文字入力ツールとを有する文字入力画面を生成するとともに、必要な設定を行い、ＩＭＥを起動する（ステップＳ２２）。そして、生成した画面のデータを携帯端末１に送信する（ステップＳ２３）。

携帯端末２は、抽出したタッチイベントを全て送信完了していることを確認し、携帯端末２側の文字入力ツールを合成した文字入力画面を表示する（ステップＳ２４）。そして、ユーザーはこの文字入力画面を用いて文字入力を行う（ステップＳ２５）。

図１２は、ユーザーが携帯端末１で第２のモードを選択したときの携帯端末２の動作を示すフローチャートである。なお、この動作は携帯端末２のＣＰＵ２０１がＲＯＭ２０２や固定記憶装置２０４等の記憶媒体に格納された動作プログラムに従って動作することにより実行される。

ステップＳ３１で、ＭＦＰ１からの通知に基づいてＭＦＰ１が対応できる文字入力方式を判定する。次いで、ステップＳ３２で、第２のモードに対応可能かどうかを判定する。対応可能であれば（ステップＳ３２でＹＥＳ）、ステップＳ３９で、第２のモードによる接続連携を開始する。従って、この場合は、第２のモードでＭＦＰ１に対する文字入力が行われる。

第２のモードに対応可能でなければ（ステップＳ３２でＮＯ）、ステップＳ３３で、第１のモードに対応可能かどうかを判定する。対応可能でなければ（ステップＳ３３でＮＯ）、ステップＳ４０で、使用不可のメッセージをタッチパネル２０５に表示する。

対応可能な場合は（ステップＳ３３でＹＥＳ）、ステップＳ３４で、第２のモードから第１のモードに切り替えるかどうかの確認画面をタッチパネルに表示する。次いで、ステップＳ３５で、ユーザーが切り替えを選択したかどうか、換言すれば第１のモード選択キー２０５ｆを操作したかどうかを判断する。選択しなかった場合は（ステップＳ３５でＮＯ）、処理を終了する。選択した場合は（ステップＳ３５でＹＥＳ）、ステップＳ３６で、ＭＦＰ１から操作ログ情報を取得した後、ステップＳ３７で、ＭＦＰ１と第１のモードでの接続連携を開始する。そして、ステップＳ３８で、タッチイベント復元処理を実行する。

図１３は、ステップＳ３８のタッチイベント復元処理のサブルーチンを示すフローチャートである。

ステップＳ３８１では、操作ログ情報から必要なタッチイベントを抽出し、再生リストを作成する。次いで、ステップＳ３８２で、初期画面の画面データを受信したことを確認したのち、ステップＳ３８３で、確認結果に基づいて画面データを受信したかどうかを判断する。受信していなければ（ステップＳ３８３でＮＯ）、受信するまで待つ。受信していれば（ステップＳ３８３でＹＥＳ）、ステップＳ３８４で、再生していないタッチイベントがあるかどうかを、ステップＳ３８１で作成した再生リストから判定する。再生していないタッチイベントがあれば（ステップＳ３８４でＹＥＳ）、もっとも古いタッチイベントをＭＦＰ１に送信した後、ステップＳ３８６で、最も古いタッチイベントを再生リストから削除して、ステップＳ３８３に戻る。ステップＳ３８３〜Ｓ３８６の動作を画面データが送られてくるたびに行う。再生していないタッチイベントがなくなると（ステップＳ３８４でＮＯ）、ステップＳ３８７で、携帯端末装置２自身のＩＭＥに基づく文字入力ツールを有する文字入力画面を、タッチパネル２０５に表示したのち、リターンする。

ユーザーは、この表示された文字入力画面から第１のモードによりＭＦＰ１に対する文字入力を行うことができる。

以上、本発明の一実施形態を説明したが、本発明は上記実施形態に限定されることはない。

例えば、ＭＦＰ１が第１、第２の文字入力方式に対応しているかどうかを、ＭＦＰ１からの通知に基づいて判定したが、携帯端末２にＭＦＰ１毎に第１、第２の文字入力方式に対応しているかどうかの情報を予め保持しておき、この情報に基づいて、接続先のＭＦＰ１が第１、第２の文字入力方式に対応しているかどうかを判定しても良い。

また、ＭＦＰ１が第１の文字入力方式にのみ対応している場合は、ＭＦＰ１から操作ログ情報を取得し、初期画面及び初期画面から遷移する各画面の画面データのＭＦＰ１からの取得と、操作ログ情報から抽出し再生された各画面に対応するタッチイベントのＭＦＰ１への送信とを繰り返して、携帯端末２に自装置の文字入力ツールを有する文字入力画面を表示させる例を示した。

その他の方法として、ＭＦＰ１の表示部１３１に文字入力エリア１３１ａとＭＦＰ１側の文字入力ツール１３１ｂを有する文字入力画面が表示されているときのＭＦＰ１の状態を規定する設定データをＭＦＰ１が保存しておく。換言すれば、初期画面から順に文字入力画面が表示されるまでのユーザー操作に基づく設定値をＭＦＰ１が保存しておき、第１の文字入力方式に切り替えられたときに、ＭＦＰ１が内部でこの設定値を復元することにより文字入力画面を復元し、その画面データを携帯端末２に送信し、携帯端末２は受信した画面データに自装置の文字入力ツールを合成して第１の文字入力方式による文字入力画面を表示しても良い。

この場合は、画面データとタッチイベントの複数回のやりとりを行う必要はなくなり、短時間で第１の文字入力方式による文字入力画面を携帯端末２に表示することができる。

１ 画像処理装置
１００ 制御部
１０１ ＣＰＵ
１３１ 表示部
２ 携帯端末装置
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０５ 表示部
２０６ ワイヤレスＬＡＮインターフェース
２０７ 短距離無線インターフェース

Claims (11)

1. 相互に接続可能な画像処理装置と携帯端末装置とを備えた文字入力システムであって、
   前記画像処理装置は、
   タッチパネルを有する表示手段と、
   前記表示手段に表示される自装置の操作画面の画面データを前記携帯端末装置に送信する送信手段と、
   前記画面データを受信した携帯端末装置でリモート画面として再生された前記操作画面をユーザーが操作したときに、前記携帯端末装置から送信される操作データを受信する受信手段と、
   前記受信手段により受信した操作データに基づいて、操作データで指示される画面更新処理を含む処理を実行する処理実行手段と、
   を備え、
   前記携帯端末装置は、
   タッチパネルを有する表示手段と、
   前記画像処理装置からの前記画面データに基づいて前記リモート画面を前記表示手段に表示させる表示制御手段と、
   前記表示制御手段により前記表示手段に表示される画像処理装置の初期画面から開始される複数のリモート画面に対するユーザーの操作を経て、リモート画面中の文字入力エリアと自装置に搭載された複数の文字キー有する文字入力ツールを合成した文字入力画面を前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記画像処理装置に対する文字入力を行う第１の文字入力手段と、
   自装置に搭載された複数の文字キー有する文字入力ツールを前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記第１の文字入力手段とは異なる方式で、前記画像処理装置に対する文字入力を行う第２の文字入力手段と、
   前記第１の文字入力手段と前記第２の文字入力手段のいずれで画像処理装置に対する文字入力を行うかを選択する選択手段と、
   を備え、
   前記携帯端末装置の表示制御手段は、前記第２の文字入力手段が選択されたときに、文字入力対象の画像処理装置が前記第２の文字入力手段に対応しておらず、ユーザーにより前記第１の文字入力手段が再選択された場合、前記画像処理装置と連携して、前記初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、前記第１の文字入力手段における前記文字入力画面を前記表示手段に表示させることを特徴とする文字入力システム。
2. 前記携帯端末装置は、前記第２の文字入力手段が選択されたときに、文字入力対象の画像処理装置が前記第２の文字入力手段に対応していないことを、前記画像処理装置からの通知により判定する請求項１に記載の文字入力システム。
3. 前記携帯端末装置は、前記第２の文字入力手段が選択されたときに、文字入力対象の画像処理装置が前記第２の文字入力手段に対応していないことを、自装置内の記憶手段に記憶された、画像処理装置が第２の文字入力手段に対応可能か否かの情報に基づいて、判定する請求項１に記載の文字入力システム。
4. 前記画像処理装置において、表示手段に表示された初期画面に対する操作から始まる複数回のユーザーのタッチ操作を経て、文字入力エリアを有する文字入力画面を前記表示手段に表示させた状態で、前記携帯端末装置と画像処理装置とが接続されることにより、前記携帯端末装置の第２の文字入力手段は有効状態となり、 前記画像処理装置は、前記初期画面から前記文字入力画面が表示されるまでに行われた複数回のユーザーのタッチ操作情報を保存するログ保存手段を備え、
   ユーザーにより前記第１の文字入力手段が再選択されたときに、前記携帯端末装置の表示制御手段は、前記画像処理装置から前記ログ保存手段に保存されたユーザーのタッチ操作情報を取得し、該取得したタッチ操作情報に基づき、前記初期画面から始まる複数のリモート画面に対応するタッチ操作情報を再生して前記画像処理装置に送信することにより、前記第１の文字入力手段における文字入力画面を前記表示手段に表示させる請求項１〜３のいずれかに記載の文字入力システム。
5. 前記タッチ操作情報は、タッチされた画面上の位置を示す座標情報と、座標情報に対応する処理内容を含み、前記ログ保存手段には前記座標情報と処理内容がタッチ操作情報の順に時系列に記録されている請求項４に記載の文字入力システム。
6. 前記携帯端末装置は、前記取得したタッチ操作情報から初期画面を特定するとともに、特定した初期画面を起点として、前記初期画面から始まる複数のリモート画面に対し対応するタッチ操作情報を再生して前記画像処理装置に送信する請求項４または５に記載の文字入力システム。
7. 前記画像処理装置は、表示手段に表示された初期画面に対する操作から始まる複数回のユーザーのタッチ操作を経て、文字入力エリアを有する文字入力画面を表示手段に表示させるとともに、前記文字入力画面が表示されているときの画像処理装置の状態を規定する設定データを保存する設定データ保存手段を備え、
   前記画像処理装置の表示手段に前記文字入力エリアを有する文字入力画面が表示された状態で、前記携帯端末装置と画像処理装置とが接続されることにより、前記携帯端末装置の第２の文字入力手段は有効状態となり、
   ユーザーにより前記第１の文字入力手段が再選択されたときに、前記画像処理装置は、前記設定データ保存手段に保存された、文字入力画面が表示されているときの画像処理装置の状態を規定する設定データに基づいて、文字入力画面の画面データを前記携帯端末装置に送信し、
   前記携帯端末装置は、送信された前記文字入力画面の画面データに基づいて、前記第１の文字入力手段における文字入力画面を前記表示手段に表示させる請求項１〜３のいずれかに記載の文字入力システム。
8. 前記携帯端末装置は、前記第２の文字入力手段が選択されたときに、文字入力対象の画像処理装置が前記第２の文字入力手段に対応していない場合は、ユーザーに前記第１の文字入力手段を再選択するかどうかの確認画面を表示する請求項１〜７のいずれかに記載の文字入力システム。
9. 相互に接続可能な画像処理装置と携帯端末装置とを備えた文字入力システムで実行される文字入力方法であって、
   前記画像処理装置は、
   タッチパネルを有する表示手段に表示される自装置の操作画面の画面データを前記携帯端末装置に送信する送信ステップと、
   前記操作画面の画面データを受信した携帯端末装置でリモート画面として再生された前記操作画面をユーザーが操作したときに、前記携帯端末装置から送信される操作データを受信する受信ステップと、
   前記受信ステップにより受信した操作データに基づいて、操作データで指示される画面更新処理を含む処理を実行する処理実行ステップと、
   を実行し、
   前記携帯端末装置は、 前記画像処理装置からの前記画面データに基づいて前記リモート画面をタッチパネルを有する表示手段に表示させる表示制御ステップと、
   前記表示制御ステップにより前記表示手段に表示される画像処理装置の初期画面から開始される複数のリモート画面に対するユーザーの操作を経て、リモート画面中の文字入力エリアと自装置に搭載された複数の文字キー有する文字入力ツールを合成した文字入力画面を前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記画像処理装置に対する文字入力を行う第１の文字入力ステップと、
   自装置に搭載された複数の文字キー有する文字入力ツールを前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記第１の文字入力ステップとは異なる方式で、前記画像処理装置に対する文字入力を行う第２の文字入力ステップと、
   前記第１の文字入力ステップと前記第２の文字入力ステップのいずれで画像処理装置に対する文字入力を行うかを選択する選択ステップと、
   を実行し、
   前記携帯端末装置の表示制御ステップでは、前記第２の文字入力ステップが選択されたときに、文字入力対象の画像処理装置が前記第２の文字入力ステップに対応しておらず、ユーザーにより前記第１の文字入力ステップが再選択された場合、前記画像処理装置と連携して、前記初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、前記第１の文字入力ステップにおける前記文字入力画面を前記表示手段に表示させることを特徴とする文字入力方法。
10. 請求項１〜８のいずれかに記載の文字入力システムに用いられる携帯端末装置。
11. 請求項１〜８のいずれかに記載の文字入力システムに用いられる携帯端末装置のコンピュータに、
    前記文字入力システムに用いられる画像処理装置と接続するための接続ステップと、
    前記画像処理装置の表示手段に表示される画像処理装置の操作画面の画面データを受信する受信ステップと、
    前記受信ステップにより受信した前記画面データに基づいて、前記操作画面をリモート画面としてタッチパネルを有する表示手段に表示させる表示制御ステップと、
    前記表示制御ステップにより前記表示手段に表示される画像処理装置の初期画面から開始される複数のリモート画面に対するユーザーの操作を経て、リモート画面中の文字入力エリアと自装置に搭載された複数の文字キー有する文字入力ツールを合成した文字入力画面を前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記画像処理装置に対する文字入力を行う第１の文字入力ステップと、
    自装置に搭載された複数の文字キー有する文字入力ツールを前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記第１の文字入力ステップとは異なる方式で、前記画像処理装置に対する文字入力を行う第２の文字入力ステップと、
    前記第１の文字入力ステップと前記第２の文字入力ステップのいずれで画像処理装置に対する文字入力を行うかを選択する選択ステップと、
    を実行させ、
    前記表示制御ステップでは、前記第２の文字入力ステップが選択されたときに、文字入力対象の画像処理装置が前記第２の文字入力ステップに対応しておらず、ユーザーにより前記第１の文字入力ステップが再選択された場合、前記画像処理装置と連携して、前記初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、前記第１の文字入力ステップにおける文字入力画面を前記表示手段に表示させる処理を前記コンピュータに実行させるための文字入力プログラム。

Images