JP6531427B2 - 処理システム、端末装置、処理装置、処理装置制御方法、およびコンピュータプログラム - Google Patents

Description

本発明は、端末装置と画像形成装置などとのリモートアクセスの際の表示の技術に関する。

コピー、スキャン、ファックス、またはドキュメントサーバなど様々な機能が備わった画像形成装置が普及している。このような画像形成装置は、「複合機」または「ＭＦＰ（Multi-functional Peripheral）」と呼ばれることもある。

画像形成装置には、通常、タッチパネルディスプレイが備わっている。タッチパネルディスプレイには、画像形成装置を操作するための様々な画面が表示される。

また、タブレットコンピュータおよびスマートフォンなどの可搬型の端末装置から画像形成装置へリモートアクセスし、画像形成装置の画面を端末装置に表示させ、端末装置からの操作に基づいて画像形成装置が処理を実行する技術が、提案されている（特許文献１）。

さらに、近年、端末装置には、音声によってテキストを入力する機能が備えられるようになった。この機能は、「音声ＩＭＥ」などと呼ばれることがある。

特開平５−１２２４２４号公報

端末装置から画像形成装置へリモートアクセスしている際にも、音声ＩＭＥによって画像形成装置へテキストを入力することができる。

端末装置に備えられる従来の音声ＩＭＥによってテキストを入力する際に、端末装置のディスプレイの表示面のほぼ全域に、音声ＩＭＥの操作用の画面が表示される。

しかし、上述の通り、画像形成装置には、様々な画面が用意されている。したがって、リモートアクセスの最中に音声ＩＭＥの操作用の画面が表示されると、画像形成装置に対してどのような操作を行っているのかがユーザにとって分かりにくくなってしまう。つまり、視認性が悪くなってしまう。

本発明は、このような問題点に鑑み、端末装置から画像形成装置へのリモートアクセスの最中に、いわゆる音声ＩＭＥを用いて画像形成装置へテキストを入力する場合の視認性を従来よりも向上させることを、目的とする。

本発明の一形態に係る処理システムは、特定の処理を行う処理装置と、リモートアクセスによって前記処理装置を制御する端末装置と、によって構成される処理システムであって、前記処理装置に、当該処理装置をユーザが操作するための、ソフトウェアキーボードおよび当該ソフトウェアキーボードによって入力された第一のテキストを示すための第一のテキスト領域を有する操作用画面の画面データとともに、前記操作用画面における前記第一のテキスト領域の位置を示す位置データを前記端末装置へ送信する画面データ送信手段、が設けられ、前記端末装置に、前記処理装置から送信されてきた前記画面データに基づいて前記操作用画面を表示する操作用画面表示手段と、音声を集音する集音手段と、集音された前記音声が表わす第二のテキストを示すための第二のテキスト領域を有する確認画面を、前記位置データに基づいて前記第一のテキスト領域の上に重ねて表示する確認画面表示手段と、前記第二のテキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信するテキスト送信手段と、が設けられる。

好ましくは、前記第二のテキストは、前記第一のテキスト領域にも示され、前記確認画面表示手段は、前記第一のテキスト領域の全体を隠すように前記確認画面を表示する。

または、前記確認画面表示手段は、前記操作用画面が表示される際に、前記確認画面を表示する。

または、前記確認画面表示手段は、前記第一のテキスト領域に示される文字よりも大きいサイズで前記第二のテキストを示す。

または、前記確認画面表示手段は、前記操作用画面の中の、前記確認画面が重なっていない部分が操作されたら、前記確認画面を表示するのを止める。

本発明の他の一形態に係る処理システムは、特定の処理を行う処理装置と、リモートアクセスによって前記処理装置を制御する端末装置と、によって構成される処理システムであって、前記処理装置に、ソフトウェアキーボードおよび当該ソフトウェアキーボードによって当該処理装置に対して入力された第一のテキストを示すためのテキスト領域を有する操作用画面の画面データを、前記端末装置へ送信する画面データ送信手段、が設けられ、前記端末装置に、前記処理装置から送信されてきた前記画面データに基づいて前記操作用画面を表示する操作用画面表示手段と、音声を集音する集音手段と、前記操作用画面が表示された後に前記集音手段によって前記音声が集音され始めた場合に、集音され始めた旨の通知を前記処理装置へ送信する、通知手段と、集音された前記音声が表わす第二のテキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信するテキスト送信手段と、が設けられ、前記画面データ送信手段は、前記通知があった場合に、前記テキスト領域の高さを高くした前記操作用画面の前記画面データを送信し直し、前記操作用画面表示手段は、新たに送信されてきた前記画面データに基づいて前記操作用画面を表示し直す。

本発明によると、端末装置から画像形成装置へのリモートアクセスの最中に、いわゆる音声ＩＭＥを用いて画像形成装置へテキストを入力する場合の視認性を従来よりも向上させることができる。

処理システムの全体的な構成の例を示す図である。 画像形成装置のハードウェア構成の例を示す図である。 端末装置のハードウェア構成の例を示す図である。 キーボード画面の例を示す図である。 音声入力画面の例を示す図である。 端末装置における画面の遷移の例を示す図である。 端末装置における画面の遷移の例を示す図である。 画像形成装置および端末装置のそれぞれの機能的構成の例を示す図である。 画像形成装置の全体的な処理の流れの例を示すフローチャートである。 端末装置の全体的な処理の流れの例を示すフローチャートである。 端末装置における画面の遷移の例を示す図である。 端末装置における画面の遷移の例を示す図である。 画像形成装置および端末装置のそれぞれの機能的構成の例を示す図である。 画像形成装置の全体的な処理の流れの例を示すフローチャートである。 端末装置の全体的な処理の流れの例を示すフローチャートである。

〔第一の実施形態〕
図１は、処理システム１００の全体的な構成の例を示す図である。図２は、画像形成装置１のハードウェア構成の例を示す図である。図３は、端末装置のハードウェア構成の例を示す図である。

処理システム１００は、図１に示すように、画像形成装置１、端末装置２、および通信回線４などによって構成される。

画像形成装置１と端末装置２とは、通信回線４を介して通信することができる。通信回線４として、有線ＬＡＮ（Local Area Network）回線、無線ＬＡＮ回線、インターネット、または専用回線などが用いられる。

画像形成装置１は、一般に複合機またはＭＦＰ（Multi Function Peripherals）などと呼ばれる画像処理装置であって、コピー、ＰＣプリント、ファックス、スキャナ、ボックスおよび電子メールの送信などの機能を集約した装置である。

ＰＣプリント機能は、他の装置から受信した画像データに基づいて画像をシートに印刷する機能である。ボックス機能は、ユーザごとに「ボックス」または「パーソナルボックス」などと呼ばれる記憶領域を与えておき、各ユーザが自分の記憶領域によって画像ファイルなどのドキュメントデータを保存し管理するための機能である。

画像形成装置１は、図２に示すように、ＣＰＵ（Central Processing Unit）１０ａ、ＲＡＭ（Random Access Memory）１０ｂ、ＲＯＭ（Read Only Memory）１０ｃ、補助記憶装置１０ｄ、タッチパネルディスプレイ１０ｅ、操作キーパネル１０ｆ、ＮＩＣ（Network Interface Card）１０ｇ、モデム１０ｈ、スキャンユニット１０ｊ、プリントユニット１０ｋ、および近距離通信ユニット１０ｍなどによって構成される。

タッチパネルディスプレイ１０ｅは、ユーザに対するメッセージを示す画面、ユーザがコマンドまたは情報を入力するための画面、およびＣＰＵ１０ａなどが実行した処理の結果を示す画面などを表示する。また、タッチパネルディスプレイ１０ｅは、ユーザがタッチした位置を検知し、その位置をＣＰＵ１０ａへ通知する。

操作キーパネル１０ｆは、いわゆるハードウェアキーボードであって、スタートキーおよび他の複数のキーによって構成される。

ＮＩＣ１０ｇは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルによって端末装置２または他の装置と通信を行う。

モデム１０ｈは、ファックス端末との間でＧ３などのプロトコルで画像データをやり取りする。

スキャンユニット１０ｊは、プラテンガラスの上にセットされたシートに記されている画像を読み取って画像データを生成する。

プリントユニット１０ｋは、通信回線４を介して他の装置から受信した画像またはスキャンユニット１０ｊによって読み取られた画像などをシートに印刷する。

近距離通信ユニット１０ｍは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）によって端末装置２などの装置と通信を行う。

ＲＯＭ１０ｃまたは補助記憶装置１０ｄには、上述のコピーおよびボックスなどの機能を実現するためのプログラムおよびデータが記憶されている。さらに、被リモートアクセス用プログラム１０Ｐ（図８参照）が記憶されている。

これらのプログラムは、必要に応じてＲＡＭ１０ｂにロードされ、ＣＰＵ１０ａによって実行される。補助記憶装置１０ｄとして、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などが用いられる。

端末装置２は、画像形成装置１を遠隔的に操作する、いわゆるリモートアクセスに使用される。端末装置２として、パーソナルコンピュータ、タブレットコンピュータ、またはスマートフォンなどが用いられる。以下、端末装置２として、タブレットコンピュータが用いられる場合を例に説明する。

端末装置２は、図３に示すように、ＣＰＵ２０ａ、ＲＡＭ２０ｂ、ＲＯＭ２０ｃ、フラッシュメモリ２０ｄ、タッチパネルディスプレイ２０ｅ、操作ボタン群２０ｆ、デジタルカメラ２０ｇ、無線通信装置２０ｈ、近距離通信ユニット２０ｋ、スピーカ２０ｉ、およびマイクロフォン２０ｊなどによって構成される。

タッチパネルディスプレイ２０ｅは、ユーザに対するメッセージを示す画面、およびユーザがコマンドまたは情報を入力するための画面などを表示する。特に、画像形成装置１のリモートアクセスでは、画像形成装置１から提供される画面を表示する。また、タッチパネルディスプレイ２０ｅは、ユーザがタッチした位置を検知し、その位置をＣＰＵ２０ａへ通知する。

操作ボタン群２０ｆは、ホーム画面に戻るためのボタン、入力した内容を確定するためのボタン、音量を調整するためのボタン、および電源のオン／オフを切り換えるためのボタンなどによって構成される。

デジタルカメラ２０ｇは、種々の被写体を撮影する。スピーカ２０ｉは、音声データに基づいて音声を出力する。

マイクロフォン２０ｊは、集音し音声データを生成する。特に、ユーザがいわゆる音声入力によってコマンドまたは情報を入力する場合に、ユーザの発した声に応じた音声データを生成する。

無線通信装置２０ｈは、無線基地局を介してＴＣＰ／ＩＰなどのプロトコルによって画像形成装置１などの装置と通信を行う。

近距離通信ユニット２０ｋは、例えばＢｌｕｅｔｏｏｔｈによって画像形成装置１などの装置と通信を行う。

ＲＯＭ２０ｃまたはフラッシュメモリ２０ｄには、リモートアクセス用プログラム２０Ｐ（図８参照）が記憶されている。リモートアクセス用プログラム１０Ｐは、ＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。

被リモートアクセス用プログラム１０Ｐおよびリモートアクセス用プログラム２０Ｐによると、ユーザは、タッチパネルディスプレイ１０ｅの代わりに端末装置２を使用して画像形成装置１のリモートアクセスをすることができる。しかも、その際に、音声入力によって文字を入力する場合に、ユーザは、行いたい一連の操作のどの段階で文字を入力しているかを従来よりも理解し易く、かつ自己の話した言葉を文字列へ変換する処理の結果を従来よりも確認し易い、という特徴を有する画面を見ながら文字の入力をすることができる。

以下、この仕組みについて、関連する画面の例、画面の遷移の例、プログラムによって実現される機能的な構成の例、ならびに画像形成装置１および端末装置２のそれぞれの全体的な処理の流れの例を順に説明する。

図４は、キーボード画面１７の例を示す図である。図５は、音声入力画面２６の例を示す図である。

キーボード画面１７は、図４に示すように、キーボード１７１、文字表示エリア１７２、およびＯＫボタン１７３を有する。

キーボード１７１は、いわゆるソフトウェアキーボードである。

文字表示エリア１７２は、ユーザがキーボード１７１によってタイピングをするごとに、タッチされたキーに対応する文字または数字などを表示し、タイピングされた文字または文字列がＩＭＥ（Input Method Editor）によって漢字またはかななどに変換されるごとに、変換の結果を表示するためのエリアである。文字表示エリア１７２は、細長い帯状である。

ＯＫボタン１７３は、ユーザがキーボード画面１７の表示の終了を指示するためのボタンである。

キーボード画面１７は、画像形成装置１が文字の入力を受け付ける状態であるときに、画像形成装置１のタッチパネルディスプレイ１０ｅによって、表示面のほぼ全域にわたるサイズで表示される。また、リモートアクセスでは、端末装置２のタッチパネルディスプレイ２０ｅによって、表示面のほぼ全域にわたるサイズで表示される。

ユーザは、例えばファックスまたは電子メールの宛先を登録したり、ボックスに保存するドキュメントのドキュメント名を指定したりする際、宛先またはドキュメント名などの文字列の入力欄（テキストボックス）にタッチすることによってキーボード画面１７を表示させる。

リモートアクセスによって文字を入力する場合、ユーザは、端末装置２と画像形成装置１との接続が確立した直後に端末装置２のタッチパネルディスプレイ２０ｅに表示される画面から適宜に画面を遷移させる操作を行うことによって、図４のように端末装置２のタッチパネルディスプレイ２０ｅにキーボード画面１７を表示させる。

音声入力画面２６は、図５に示すように、帯状の文字表示エリア２６１およびアイコン２６２から構成される。文字表示エリア２６１は、音声入力用のＩＭＥである音声ＩＭＥ２１０（図８参照）によって得られた文字列５２を表示するためのエリアである。

アイコン２６２は、端末装置２が音声による文字の入力を受け付ける状態であること、すなわち音声ＩＭＥ２１０が音声をそれに応じた文字コードに変換することが可能なオンの状態（以下、これを「アクティブ」と記載することがある）であることを表わすアイコンである。

図４と図５とを見比べて分かる通り、音声入力画面２６の文字表示エリア２６１は、キーボード画面１７の文字表示エリア１７２よりも太い。また、文字表示エリア２６１の長さは、文字表示エリア１７２の長さ以上である。つまり、端末装置２によって表示されている状態において、文字表示エリア２６１は、文字表示エリア１７２よりも大きい。文字表示エリア２６１では、文字表示エリア１７２によって表示するのと比べて、文字列５２を大きく表示することができる。

端末装置２は、文字表示エリア２６１を用いて、文字列５２を、文字表示エリア１７２に収まるサイズよりも大きいサイズで表示する。つまり、ユーザにとって見易く、自己の話した言葉が意図した通りの文字列５２に変換されたかどうかを確認し易いように、文字列５２を表示する。

注目すべき点は、文字表示エリア２６１が文字表示エリア１７２と比べて大きいけれども、タッチパネルディスプレイ２０ｅの表示面の全域を占めるものではない、という点である。文字表示エリア２６１は、キーボード画面１７よりも小さい。

また、アイコン２６２もキーボード画面１７よりも小さい。

さらに、文字表示エリア２６１のサイズにアイコン２６２のサイズを加えた合計サイズも、キーボード画面１７よりも小さい。例えば合計サイズは、キーボード画面１７のサイズの５０％以下のサイズである。つまり、音声入力画面２６は、キーボード画面１７よりも小さい。

音声入力画面２６は、音声ＩＭＥ２１０がアクティブであるときに、端末装置２のタッチパネルディスプレイ２０ｅに、キーボード画面１７の上に重ねるように表示される。このとき、キーボード画面１７の方が音声入力画面２６よりも大きいので、キーボード画面１７の一部分は隠れない。ユーザは、キーボード画面１７のうちの隠されていない部分を見ることができる。そして、自己がキーボード画面１７を表示させる操作をしたことを認識することができる。よって、音声入力画面２６は、ユーザからみて、自己が行いたい一連の操作のどの段階で文字を入力しているかを、キーボード画面１７が全く見えない場合と比べて理解し易い画面である。

なお、音声入力画面２６は、文字表示エリア２６１と、アイコン２６２と、これらを囲む背景２６３とで構成されてもよい。背景２６３は、タッチパネルディスプレイ２０ｅの表示面と同じサイズの画像であってよい。だたし、背景２６３は、透過性を有する画像（好ましくは透過率が１００％の画像）である。

また、音声入力の進行の状況をユーザに伝えるメッセージ５１を、文字列５２と並べて文字表示エリア２６１に表示してもよい。

図６および図７は、端末装置２における画面の遷移の例を示す図である。図６および図７において、右半部にリモートアクセス中の端末装置２によって表示される画面を示し、左半部に画像形成装置１よって生成される画面を示す。

端末装置２による画像形成装置１のリモートアクセスが開始された後、ユーザが適宜に画面を遷移させる操作を行うと、画像形成装置１は、操作に応じた画面の画像データを端末装置２へ送信する。端末装置２は、画面データに基づいて画面を表示する。以下、図６に示す文字入力画面１６が表示された後の流れを説明する。文字入力画面１６は、入力された文字を表示する文字入力欄１６１を有する。

端末装置２は、ユーザが文字入力欄１６１にタップすると、タッチパネルディスプレイ２０ｅのタップされた位置の座標値および「タップ」というジェスチャの種類を示すデータであるイベントデータ５を画像形成装置１に送る。

画像形成装置１は、イベントデータ５を受け取ると、文字入力欄１６１がタップされたことをイベントデータ５に基づいて認識し、ユーザが文字入力欄１６１に文字を入力しようといていると判断する。画像形成装置１は、端末装置２に次に与えるべきリモートアクセス用の画面（リモートパネル）としてキーボード画面１７を生成する。予めキーボード画面１７がその画像データを記憶することによって用意されている場合には、キーボード画面１７を生成する代わりに画像データを記憶装置から読み出す。

そして、画像形成装置１は、キーボード画面１７の画像データである画面データ６を端末装置２に送る。このとき、画像形成装置１は、予めキーボード画面１７の構成に関する情報として記憶しているエリア情報７を、端末装置２に送る。エリア情報７は、キーボード画面１７内の文字表示エリア１７２の位置の範囲を示す。

端末装置２は、キーボード画面１７の画面データ６およびエリア情報７を受け取ると、文字入力画面１６に代えてキーボード画面１７を表示し、音声ＩＭＥ２１０をアクティブにするとともに、キーボード画面１７に重ねて音声入力画面２６を表示する。端末装置２は、音声入力画面２６の表示に際して、エリア情報７に基づいて、文字表示エリア２６１をキーボード画面１７の文字表示エリア１７２に重ねて表示する。つまり、キーボード画面１７の文字表示エリア１７２を音声入力画面２６の文字表示エリア２６１によって隠す。これにより、１つの画面に同じ内容を表示する２つの文字表示エリア１７２，２６１が在るという無駄を無くすとともに、２つの文字表示エリア１７２，２６１の間に表示のタイムラグが生じてもユーザがそのタイムラグに気付かないようにすることができる。

端末装置２は、ユーザが音声を発すると、その音声に基づいて音声ＩＭＥ２１０によって得られた文字列５２を、音声入力画面２６内の文字表示エリア２６１に表示する。つまり、音声ＩＭＥ２１０による処理の結果を音声入力画面２６に反映させる。さらに、端末装置２は、得られた文字列５２の各文字の文字コード８を画像形成装置１に送る。

画像形成装置１は、文字コード８を受け取ると、文字コード８の示す文字列５２を文字表示エリア１７２に埋め込んだキーボード画面１７を生成し、そのキーボード画面１７の画面データ６を端末装置２に送る。

端末装置２は、画面データ６を受け取ると、改めてキーボード画面１７および音声入力画面２６を表示する。このとき、キーボード画面１７の文字表示エリア１７２には文字列５２が埋め込まれているが、文字表示エリア１７２は音声入力画面２６の文字表示エリア２６１によって隠されている。

端末装置２は、図７に示すように音声入力画面２６のうちの文字表示エリア２６１でもアイコン２６２でもない部分をユーザがタッチすると、このタッチに応じたイベントデータ５を画像形成装置１に送る。

画像形成装置１は、イベントデータ５を受け取ると、音声入力画面２６のうちのキーボード画面１７の現れた部分がタッチされたことをイベントデータ５に基づいて認識し、ユーザがキーボード画面１７による操作をしようといていると判断する。画像形成装置１は、音声ＩＭＥ２１０のノンアクティブ化を端末装置２に指令する。

端末装置２は、この指令を受け取ると、指令に従って音声ＩＭＥ２１０のノンアクティブ化するとともに、音声入力画面２６の表示を終了する。これによって、キーボード画面１７の全体が表示される。

端末装置２は、ユーザがキーボード画面１７のＯＫボタン１７３にタッチすると、それに応じたイベントデータ５を画像形成装置１に送る。

画像形成装置１は、イベントデータ５を受け取ると、ＯＫボタン１７３がタッチされたことをイベントデータ５に基づいて認識し、ユーザが文字入力欄１６１への文字の入力を終えたと判断する。画像形成装置１は、文字入力欄１６１に文字列５２を埋め込んだ文字入力画面１６を生成し、その画面データ６を端末装置２に送る。

端末装置２は、画面データ６を受け取ると、キーボード画面１７に代えて文字入力画面１６を表示する。この文字入力画面１６では、音声入力によって入力された文字列５２が表示される。

次に、以上のようにキーボード画面１７および音声入力画面２６を表示するための機能について説明する。

図８は、画像形成装置１および端末装置２のそれぞれの機能的構成の例を示す図である。

被リモートアクセス用プログラム１０Ｐによると、画面データ等送信部１０１、画面データ生成部１０２、次処理判別部１０３、音声ＩＭＥ呼出指令部１０４、および音声ＩＭＥ呼出解除部１０５などの機能が画像形成装置１に実現される。

リモートアクセス用プログラム２０Ｐによると、画面表示部２０１、タッチ検知部２０２、イベントデータ送信部２０３、音声ＩＭＥ呼出部２０４、音声入力画面表示部２０５、入力文字列表示部２０６、入力文字列送信部２０７、および音声ＩＭＥ解除部２０８などの機能が端末装置２に実現される。

画像形成装置１の画面データ生成部１０２は、各種の画面（リモートパネル）を構成するためのパーツ（部品）のライブラリを有している。画面データ生成部１０２は、次処理判別部１０３から生成の指令を受けると、指令に応じた画面を構成するパーツをライブラリから取り込んで組み合わせることにより、当該画面のビットマップデータを生成する。そして、端末装置２への転送の所要時間を短縮するため、ビットマップデータを例えばＪＰＥＧ（Joint Photographic Experts Group）のフォーマットの画像データに圧縮する。そして、圧縮後の画像データを画面データ６として画面データ等送信部１０１に引き渡す。

画面データ生成部１０２は、上述のキーボード画面１７の画面データ６を生成した場合には、文字表示エリア１７２の位置の範囲を示すエリア情報７を画面データ６にバインドして画面データ等送信部１０１に引き渡す。

画面データ等送信部１０１は、画面データ生成部１０２から画面データ６を受け取ると、画面データ６を端末装置２へ送信する。エリア情報７がバインドされている場合は、画面データ６とエリア情報７とを送信する。

端末装置２の画面表示部２０１は、画像形成装置１から送られてきた画面データ６に基づいて、画像形成装置１によって生成された画面をタッチパネルディスプレイ２０ｅに表示させる。この際に、バックグラウンドで、画面データ６の伸張およびビットマップメモリ（ビデオＲＡＭ）への描画などが行われる。

タッチ検知部２０２は、タッチパネルディスプレイ２０ｅからタッチの位置の情報を取得してジェスチャの種類を判別する。タッチ検知部２０２は、タッチイベントに応じた上述のイベントデータ５を生成してイベントデータ送信部２０３に引き渡す。なお、タッチ検知部２０２は、音声入力画面２６の範囲内の位置がタッチされた場合には、それを示すタッチイベントを生成しない。

イベントデータ送信部２０３は、タッチ検知部２０２からイベントデータ５を受け取ると、そのイベントデータ５を画像形成装置１に送信する。

画像形成装置１の次処理判別部１０３は、端末装置２からイベントデータ５を受信すると、画面データ生成部１０２に対して最後に生成を指令した際に生成の対象として指定した画面内のどの位置がタッチされたかをイベントデータ５に基づいて認識する。

次処理判別部１０３は、認識した位置が画面を切り替えるべき操作に対応する位置であるかどうかを、画面内の位置と行うべき処理とを対応づける制御用データを参照することによって判別する。

次処理判別部１０３は、イベントデータ５に基づいて認識した位置が画面を切り替えるべき操作に対応する位置であると判別した場合、新たに表示すべき画面の生成を画面データ生成部１０２に指令する。例えば、次処理判別部１０３は、文字入力画面１６の文字入力欄１６１のタップに応じたイベントデータ５を受け取った場合には、キーボード画面１７の生成を、キーボード画面１７のＯＫボタン１７３のタップに応じたイベントデータ５を受け取った場合には、文字入力画面１６の生成を、画面データ生成部１０２に指令する。

また、次処理判別部１０３は、キーボード画面１７の生成を画面データ生成部１０２に指令する際に、呼出指令の送信を、音声ＩＭＥ呼出指令部１０４に要求する。

音声ＩＭＥ呼出指令部１０４は、この要求を受けると、音声ＩＭＥ２１０のアクティブ化を端末装置２に指令する。

さらに、次処理判別部１０３は、音声入力画面２６のキーボード画面１７の部分のタップに応じたイベントデータ５を受け取った場合には、音声ＩＭＥ２１０のノンアクティブ化を音声ＩＭＥ呼出解除部１０５に要求する。

音声ＩＭＥ呼出解除部１０５は、この要求を受けると、音声ＩＭＥ２１０のノンアクティブ化を端末装置２に指令する。

端末装置２の音声ＩＭＥ呼出部２０４は、画像形成装置１から音声ＩＭＥ２１０のアクティブ化の指令を受けると、音声ＩＭＥ２１０をアクティブ化する。

また、音声ＩＭＥ呼出部２０４は、画像形成装置１から音声ＩＭＥ２１０のアクティブ化の指令を受けると、音声入力画面表示部２０５に音声入力画面２６の表示を指令する。

音声入力画面表示部２０５は、この指令を受けると、タッチパネルディスプレイ２０ｅに音声入力画面２６をキーボード画面１７に重ねるように表示させる。

入力文字列表示部２０６は、音声ＩＭＥ２１０からユーザの発した音声に応じた文字コード８を受け取る。入力文字列表示部２０６は、文字コード８を受け取ると、図６に示すように、文字コード８に応じた文字列５２を音声入力画面２６の文字表示エリア２６１に表示する。また、入力文字列表示部２０６は、文字コード８を入力文字列送信部２０７に送る。

入力文字列送信部２０７は、入力文字列表示部２０６から文字コード８を受け取って画像形成装置１へ送信する。

画像形成装置１の次処理判別部１０３は、端末装置２から送信された文字コード８を受信する。次処理判別部１０３は、文字コード８を受信すると、図６に示したように文字表示エリア１７２に文字コード８に応じた文字列５２を埋め込んだキーボード画面１７の生成を、画面データ生成部１０２に指令する。これにより、画面データ生成部１０２によって文字列５２を埋め込んだキーボード画面１７が生成され、画面データ等送信部１０１によって端末装置２へ送信される。

音声ＩＭＥ解除部２０８は、画像形成装置１から音声ＩＭＥ２１０のノンアクティブ化の指令を受けると、音声ＩＭＥ２１０をノンアクティブ化する。すると、音声入力画面表示部２０５が音声入力画面２６の表示を終了する。

図９は、画像形成装置１の全体的な処理の流れの例を示すフローチャートである。図１０は、端末装置２の全体的な処理の流れの例を示すフローチャートである。

次に、画像形成装置１の全体的な処理の流れ、および端末装置２の全体的な処理の流れを、図９または図１０のフローチャートを参照しながら説明する。

画像形成装置１は、端末装置２によるリモートアクセスが始まると、図９に示すように、デフォルトの画面の画面データ６を端末装置２に送信する（＃１０１）。デフォルトの画面は、画像形成装置１の電源がオンにされてウォームアップが完了した後に最初に表示するトップ画面でもよいし、リモートアクセスが始まる直前にタッチパネルディスプレイ１０ｅに表示していた画面でもよい。

画像形成装置１は、端末装置２からイベントデータ５を受信すると（＃１０２でＹＥＳ）、イベントデータ５の示す座標値に基づいて、タッチの位置が文字入力欄１６１内の位置かどうかを判別する（＃１０３）。

画像形成装置１は、タッチの位置が文字入力欄１６１内の位置であると判別した場合（＃１０３でＹＥＳ）、キーボード画面１７の画面データ６を送信するとともに、音声ＩＭＥ２１０の呼出（アクティブ化）を端末装置２に指令する（＃１０４）。音声ＩＭＥ２１０がアクティブになると、図６に示した音声入力画面２６が表示される。

画像形成装置１は、端末装置２によって音声入力画面２６が表示されているときに、音声入力画面２６のうちのキーボード画面１７の現れた部分がタッチされた場合（＃１０５でＹＥＳ）、音声ＩＭＥ２１０の解除（ノンアクティブ化）を端末装置２に指令する（＃１０６）。音声ＩＭＥ２１０がノンアクティブになると、音声入力画面２６の表示が終了する。

画像形成装置１は、端末装置２から受信したイベントデータ５が、その他のタッチに応じたデータであった場合（＃１０７でＹＥＳ）、イベントデータ５に応じて、画面を遷移させたり動作の設定値を変更したりするといったその他の処理をする（＃１０８）。

画像形成装置１は、端末装置２から文字コード８を受信すると（＃１０９でＹＥＳ）、文字コード８に応じた文字列５２を文字表示エリア１７２に埋め込むことによって音声入力の結果を反映させたキーボード画面１７を生成する（＃１１０）。そして、そのキーボード画面１７の画面データ６を端末装置２に送信する（＃１１１）。

画像形成装置１は、リモートアクセスが続いている間（＃１１２でＮＯ）、ステップ＃１０２ないしステップ＃１１１の処理を適宜、実行する。

端末装置２は、画像形成装置１のリモートアクセスが始まると、次の処理をする。

端末装置２は、図１０に示すように、画像形成装置１から画面データ６を受信すると（＃２０１でＹＥＳ）、画面データ６に応じた画面をタッチパネルディスプレイ２０ｅに表示させる。

端末装置２は、ユーザがタッチパネルディスプレイ２０ｅにタッチすると（＃２０３でＹＥＳ）、ユーザがタッチした位置およびジェスチャの種類を判別し（＃２０４）、判別の結果を示すイベントデータ５を画像形成装置１に送信する（＃２０５）。

端末装置２は、音声ＩＭＥ２１０のアクティブ化が画像形成装置１から指令されると（＃２０６でＹＥＳ）、音声ＩＭＥ２１０をアクティブ化するとともに、音声入力画面２６をキーボード画面１７に重ねて表示する（＃２０７、＃２０８）。

端末装置２は、ユーザの発した音声に応じた文字列５２（入力文字列）を音声ＩＭＥ２１０によって取得すると（＃２０９でＹＥＳ）、取得した文字列５２を文字表示エリア２６１に表示するとともに、文字コード８を送信することによって文字列５２を画像形成装置１に通知する（＃２１０、＃２１１）。

端末装置２は、音声ＩＭＥ２１０のノンアクティブ化が画像形成装置１から指令されると（＃２１２でＹＥＳ）、音声ＩＭＥ２１０をノンアクティブ化する（＃２１３）。これによって、音声入力画面２６の表示が終了する。

端末装置２は、リモートアクセスが続いている間（＃２１４でＮＯ）、ステップ＃２０１ないしステップ＃２１３の処理を適宜、実行する。

〔第二の実施形態〕
第一の実施形態では、端末装置２が画像形成装置１からリモートパネルとして与えられたキーボード画面１７に重ねて文字表示エリア２６１を表示した。これに対して、第二の実施形態では、第一の実施形態の文字表示エリア２６１と同程度の大きさの文字表示エリア１７２Ｂを有したキーボード画面１７Ｂ（図１１参照）を、画像形成装置１Ｂ（図１３参照）が端末装置２Ｂに与える。以下、この仕組みについて、説明する。第一の実施形態と重複する点は、説明を省略する。

第二の実施形態に係る画像形成装置１Ｂとして、図２に示した画像形成装置１と同様のハードウェア構成をもつ装置を用いることができる。端末装置２Ｂについても、図３に示した端末装置２と同様のハードウェア構成をもつ装置を用いることができる。

ただし、第二の実施形態の画像形成装置１Ｂでは、ＲＯＭ１０ｃまたは補助記憶装置１０ｄには、被リモートアクセス用プログラム１０Ｐの代わりに被リモートアクセス用プログラム１２Ｐ（図１３参照）が記憶されている。また、第二の実施形態の端末装置２Ｂでは、ＲＯＭ２０ｃまたはフラッシュメモリ２０ｄには、リモートアクセス用プログラム２０Ｐの代わりにリモートアクセス用プログラム２２Ｐ（図１３参照）が記憶されている。

画像形成装置１Ｂと端末装置２Ｂとは、図１に示した通信回線４を介して通信することができる。

図１１は、端末装置における画面の遷移の例を示す図である。図１２は、端末装置における画面の遷移の例を示す図である。

端末装置２Ｂは、リモートアクセスが開始された後、ユーザが適宜に画面を遷移させる操作を行うと、画像形成装置１Ｂは、操作に応じた画面の画像データ６を端末装置２Ｂへ送信する。端末装置２Ｂは、画面データ６に基づいて画面を表示する。以下、図１１に示す文字入力画面１６が表示された後の流れを説明する。

端末装置２Ｂは、ユーザが文字入力欄１６１にタップすると、イベントデータ５を画像形成装置１Ｂに送る。画像形成装置１は、イベントデータ５を受け取ると、キーボード画面１７を生成し、生成したキーボード画面１７の画面データ６を端末装置２Ｂに送る。ここまでは、第一の実施形態と同様である。

第一実施形態ではキーボード画面１７の画面データ６を端末装置２に送る際に、文字表示エリア１７２の位置の範囲を示すエリア情報７を、端末装置２に送った。第二の実施形態では、文字表示エリア１７２を拡大することを見込んで、拡大後の文字表示エリア１７２Ｂの位置の範囲を示すエリア情報７Ｂを端末装置２Ｂに送る。

端末装置２Ｂは、画面データ６およびエリア情報７を受け取ると、文字入力画面１６に代えてキーボード画面１７を表示するとともに、キーボード画面１７に重ねてアイコン２６２を表示する。

端末装置２Ｂは、アイコン２６２の表示に際して、エリア情報７Ｂに基づいて、拡大後の文字表示エリア１７２Ｂが表示される場合にその文字表示エリア１７２Ｂと重ならにように、キーボード画面１７のうちの文字表示エリア１７２Ｂが配置される予定の位置以外と重なるようにアイコン２６２を表示する。

端末装置２Ｂは、アイコン２６２を表示した後、マイクロフォン２０ｊが音声を感知すると、ユーザが話し始めたと判断して、音声ＩＭＥ２１０による処理が開始されたことを画像形成装置１Ｂに通知する。この通知は、音声の文字コードへの変換が確定する前に、文字表示エリア１７２を文字表示エリア１７２Ｂに拡げておくための通知である。

画像形成装置１Ｂは、ユーザが音声入力の正否を確認し易いキーボード画面１７Ｂの生成を開始する。キーボード画面１７Ｂは、キーボード画面１７の文字表示エリア１７２を文字表示エリア１７２Ｂに置き換えた画面である。文字表示エリア１７２Ｂは、文字表示エリア１７２を図の上下方向に拡大したものに相当し、そのサイズは第一の実施形態の文字表示エリア２６１のサイズと同程度である。

端末装置２から文字コード８が送られてくる以前にキーボード画面１７Ｂの生成を開始することにより、文字コード８が送られてきたときに、キーボード画面１７Ｂを端末装置２に早く提供することができる。なお、予めキーボード画面１７Ｂを用意しておくことによって、より早くキーボード画面１７Ｂを端末装置２に提供するようにしてもよい。

画像形成装置１Ｂは、端末装置２から文字コード８が送られてくると、文字コード８に応じた文字列５２を文字表示エリア１７２Ｂに埋め込んだキーボード画面１７Ｂ、すなわち音声入力の結果を反映させたキーボード画面１７Ｂを生成する。

文字表示エリア１７２Ｂは文字表示エリア１７２よりも大きいので、文字表示エリア１７２に埋め込む場合と比べて大きいサイズで文字列５２を文字表示エリア１７２Ｂに埋め込むことができる。つまり、文字列５２を見易くすることができる。

画像形成装置１Ｂは、生成したキーボード画面１７Ｂの画面データ６を端末装置２Ｂへ送信する。

端末装置２Ｂは、キーボード画面１７Ｂの画面データ６を受け取ると、キーボード画面１７Ｂを表示し、キーボード画面１７Ｂに重ねてアイコン２６２を表示する。

端末装置２Ｂは、図１２に示すようにキーボード画面１７Ｂのうちの文字表示エリア１７２Ｂでもアイコン２６２でもない部分をユーザがタッチすると、このタッチに応じたイベントデータ５を画像形成装置１Ｂに送る。

画像形成装置１Ｂは、イベントデータ５を受け取ると、ユーザがキーボード画面１７による操作をしようといていると判断する。画像形成装置１Ｂは、文字表示エリア１７２Ｂに文字列５２を埋め込んだキーボード画面１７Ｂを生成してその画面データ６を端末装置２Ｂに送信する。このとき、音声ＩＭＥ２１０のノンアクティブ化を端末装置２Ｂに指令する。

端末装置２Ｂは、画面データ６およびノンアクティブ化の指令を受け取ると、キーボード画面１７Ｂに代えてキーボード画面１７を表示するとともに、音声ＩＭＥ２１０をノンアクティブ化する。音声ＩＭＥ２１０のノンアクティブ化によってアイコン２６２の表示が終了する。

次に、以上のようにキーボード画面１７Ｂおよびアイコン２６２を表示するための機能について説明する。

図１３は、画像形成装置１Ｂおよび端末装置２Ｂのそれぞれの機能的構成の例を示す図である。

被リモートアクセス用プログラム１２Ｐによると、画面データ等送信部１２１、画面データ生成部１２２、次処理判別部１２３、音声ＩＭＥ呼出指令部１２４、および音声ＩＭＥ呼出解除部１２５などの機能が画像形成装置１Ｂに実現される。

リモートアクセス用プログラム２２Ｐによると、画面表示部２２１、タッチ検知部２２２、イベントデータ送信部２２３、音声ＩＭＥ呼出部２２４、音声入力画面表示部２２５、入力文字列送信部２２７、および入力開始通知部２２９などの機能が端末装置２に実現される。

画面データ等送信部１２１、画面データ生成部１２２、音声ＩＭＥ呼出指令部１２４、および音声ＩＭＥ呼出解除部１２５は、それぞれ、第一の実施形態の画面データ等送信部１０１、画面データ生成部１０２、音声ＩＭＥ呼出指令部１０４、および音声ＩＭＥ呼出解除部１０５（図８参照）と同様の機能を有する。また、画面表示部２２１、タッチ検知部２２２、イベントデータ送信部２２３、音声ＩＭＥ呼出部２２４、音声入力画面表示部２２５、および入力文字列送信部２２７は、それぞれ、第一の実施形態の画面表示部２０１、タッチ検知部２０２、イベントデータ送信部２０３、音声ＩＭＥ呼出部２０４、音声入力画面表示部２０５、および入力文字列送信部２０７（図８参照）と同様の機能を有する。つまり、これらによって、キーボード画面１７Ｂの一部とアイコン２６２とが表示される。

画像形成装置１Ｂの次処理判別部１２３は、第一の実施形態の次処理判別部１０３と同様に、タッチイベントに応じて次に行うべき処理を判別する。タッチイベントが画面の遷移を指示する操作を示す場合には、画面データ生成部１２２に新たに表示すべき画面の生成を指令する。

端末装置２の入力開始通知部２２９は、音声入力に際して音声が発せられたときにその旨を通知する機能を有する。

画像形成装置１Ｂの次処理判別部１２３は、端末装置２の入力開始通知部２２９からの通知を受け取る。次処理判別部１２３は、入力開始通知部２２９からの通知を受け取ると、キーボード画面１７Ｂの生成を、画面データ生成部１２２に指令する。画面データ等送信部１２１は、画面データ生成部１２２によってキーボード画面１７Ｂが生成されると、直ちにキーボード画面１７Ｂの画面データ６を端末装置２Ｂに送信する。

図１４は、画像形成装置１Ｂの全体的な処理の流れの例を示すフローチャートである。図１５は、端末装置２Ｂの全体的な処理の流れの例を示すフローチャートである。

画像形成装置１Ｂは、リモートアクセスが始まると、第一の実施形態の場合と同様に、デフォルトの画面の画面データ６を送信し（図１４の＃１２１）、その後、リモートアクセスが終了するまでの間、端末装置２Ｂからのデータの入力または通知などに応じて次のように処理をする。

画像形成装置１Ｂは、文字入力欄１６１内の位置のタッチが通知されると（＃１２２でＹＥＳ、＃１２３でＹＥＳ）、キーボード画面１７の画面データ６を送信するとともに、音声ＩＭＥ２１０のアクティブ化を端末装置２Ｂに指令する（＃１２４）。

画像形成装置１Ｂは、端末装置２によってアイコン２６２が表示されているときに、キーボード画面１７Ｂの現れた部分のタッチが通知されると（＃１２５でＹＥＳ）、第一の実施形態の場合と同様に、音声ＩＭＥ２１０のノンアクティブ化を端末装置２に指令する（＃１２６）。

さらに第二の実施形態では、文字表示エリア１７２Ｂをそれより細い文字表示エリア１７２に戻したキーボード画面１７を生成して、その画面データ６を端末装置２Ｂへ送信する（＃１２７、＃１２８）。

画像形成装置１Ｂは、その他のタッチが通知されると（＃１２９でＹＥＳ）、第一の実施形態の場合と同様に、その他の処理をする（＃１３０）。

画像形成装置１Ｂは、第二の実施形態では、音声が発せられたことが通知されると（＃１３１でＹＥＳ）、文字表示エリア１７２をそれよりも太い文字表示エリア１７２Ｂに置き換えたキーボード画面１７Ｂを生成して、それの画面データ６を端末装置２Ｂへ送信する（＃１３２、＃１３３）。

画像形成装置１Ｂは、文字コード８を受信すると（＃１３４でＹＥＳ）、音声入力の結果を反映させたキーボード画面１７Ｂを生成して、それの画面データ６を端末装置２に送信する（＃１３５、＃１３６）。

端末装置２Ｂは、第一の実施形態の場合とほぼ同様の処理をする。すなわち、図１５に示すステップ＃２２１〜＃２３３の処理は、それぞれ図１０に示した第一の実施形態の場合のステップ＃２２１〜＃２０９、およびステップ＃２１１〜＃２１４の処理と同様である。

第二の実施形態では、第一の実施形態の場合にステップ＃２１０で行われていた文字列５２を表示する処理を、端末装置２Ｂは行わない。それは、文字列５２が、画像形成装置１Ｂによって文字表示領域１７２Ｂに埋め込まれるからである。

以上の第一の実施形態によると、音声入力に際して入力の結果を示す文字列５２が画像形成装置１Ｂによって文字表示エリア１７２Ｂに大きいサイズで埋め込まれる。そして、文字列５２の埋め込まれたキーボード画面１７Ｂが端末装置２Ｂによって表示され、キーボード画面１７Ｂの一部のみを隠すアイコン２６２がキーボード画面１７Ｂに重ねて表示される。キーボード画面１７Ｂの一部が見えることにより、全く見えない場合と比べて、ユーザが何のために音声入力をしているかまたは次にどのようなアクションをすべきかといったことなどを理解し易い。

第一および第二の実施形態では、音声入力画面２６またはアイコン２６２が表示されているときに、キーボード画面１７，１７Ｂが表れている部分にユーザがタッチした場合に、音声ＩＭＥ２１０をノンアクティブ化した。これの変形例として、キーボード画面１７，１７Ｂに、音声ＩＭＥ２１０をアクティブとノンアクティブとに切替えるための切替えボタンを配置しておくことができる。その場合、切替えボタンを隠さないように文字表示エリア２６１およびアイコン２６２などを表示する。ユーザは、キーボード画面１７，１７Ｂが表示されているときには、随時に音声ＩＭＥ２１０をアクティブにまたはノンアクティブに切り替えることができる。

音声ＩＭＥ２１０の機能は、端末装置２内で実現されてもよいし、いわゆるクラウドサーバなどの外部の装置に実現されてもよい。

端末装置２，２Ｂに、音声ＩＭＥ２１０の他に手書き入力用といった音声以外による文字の入力用のＩＭＥが備わる場合、これらＩＭＥの使用の優先順位に応じて、大きさの異なる文字表示エリアを使い分けるように画面の表示を制御することができる。詳しくは、次のようにする。

第一の実施形態のように画像形成装置１が端末装置２に文字表示エリアの表示を指令して、端末装置２が文字表示エリア２６１の位置を決めて表示する形態では、最優先のＩＭＥが音声ＩＭＥ２１０である場合に、画像形成装置１が表示を指令する際に、例えば３０ポイント以上の大きさで文字を表示することのできるサイズ（これを「大型サイズ」という）を文字表示エリア２６１のサイズとして指定する。最優先のＩＭＥが音声ＩＭＥ２１０以外である場合には、そのＩＭＥの仕様の通りのサイズ（これを「通常サイズ」という）を文字表示エリアのサイズとして指定する。画像形成装置１は、例えばリモートアクセスの接続を確立するときなどに、端末装置２からＩＭＥの使用の優先順位を示すデータを取得しておく。

また、第二の実施形態のように画像形成装置１Ｂが文字表示エリア１７２Ｂをキーボード画面１７Ｂに配置する形態では、最優先のＩＭＥが音声ＩＭＥ２１０である場合に、画像形成装置１が大型サイズを文字表示エリア１７２Ｂのサイズとし、最優先のＩＭＥが音声ＩＭＥ２１０以外である場合には、通常サイズを文字表示エリアのサイズとする。

なお、上述のように切替えボタンを設けることによって、通常サイズを文字表示エリアが表示されているときに、ユーザによる指示に従って大型サイズに切り替えるようにすることができる。

その他、処理システム１００の全体または各部の構成、画像形成装置１，１Ｂおよび端末装置２，２Ｂのそれぞれが行う処理の内容、処理の順序などは、本発明の趣旨に沿って適宜変更することができる。

１００ 処理システム
１，１Ｂ 画像形成装置（処理装置）
２，２Ｂ 端末装置
６ 画面データ
１０１，１２１ 画面データ等送信部（画面データ送信手段）
２０１，２２１ 画面表示部（操作用画面表示手段）
２０ｊ マイクロフォン（集音手段）
２６ 音声入力画面（確認画面）を前記操作用画面の一部分の上に重ねて表示する確認 ２０５，２２５ 音声入力画面表示部（画面表示手段）
８ 文字コード（テキスト）
２０７，２２７ 入力文字列送信部（テキスト送信手段）
１７１ キーボード（ソフトウェアキーボード）
１７２ 文字表示エリア（第二のテキスト領域）
７ エリア情報（位置データ）

Claims (15)

1. 特定の処理を行う処理装置と、リモートアクセスによって前記処理装置を制御する端末装置と、によって構成される処理システムであって、
   前記処理装置に、
   当該処理装置をユーザが操作するための、ソフトウェアキーボードおよび当該ソフトウェアキーボードによって入力された第一のテキストを示すための第一のテキスト領域を有する操作用画面の画面データとともに、前記操作用画面における前記第一のテキスト領域の位置を示す位置データを前記端末装置へ送信する画面データ送信手段、
   が設けられ、
   前記端末装置に、
   前記処理装置から送信されてきた前記画面データに基づいて前記操作用画面を表示する操作用画面表示手段と、
   音声を集音する集音手段と、
   集音された前記音声が表わす第二のテキストを示すための第二のテキスト領域を有する確認画面を、前記位置データに基づいて前記第一のテキスト領域の上に重ねて表示する確認画面表示手段と、
   前記第二のテキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信するテキスト送信手段と、
   が設けられる、
   ことを特徴とする処理システム。
2. 前記第二のテキストは、前記第一のテキスト領域にも示され、
   前記確認画面表示手段は、前記第一のテキスト領域の全体を隠すように前記確認画面を表示する、
   請求項１記載の処理システム。
3. 特定の処理を行う処理装置と、リモートアクセスによって前記処理装置を制御する端末装置と、によって構成される処理システムであって、
   前記処理装置に、
   当該処理装置をユーザが操作するための、ソフトウェアキーボードおよび当該ソフトウェアキーボードによって入力された第一のテキストを示すための第一のテキスト領域を有する操作用画面の画面データを前記端末装置へ送信する画面データ送信手段、
   が設けられ、
   前記端末装置に、
   前記処理装置から送信されてきた前記画面データに基づいて前記操作用画面を表示する操作用画面表示手段と、
   音声を集音する集音手段と、
   集音された前記音声が表わす第二のテキストを前記第一のテキスト領域に示される文字よりも大きいサイズで示すための第二のテキスト領域を有する確認画面を前記操作用画面の一部分の上に重ねて表示する確認画面表示手段と、
   前記第二のテキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信するテキスト送信手段と、
   が設けられる、
   ことを特徴とする処理システム。
4. 前記確認画面表示手段は、前記操作用画面が表示される際に、前記確認画面を表示する、
   請求項１ないし請求項３のいずれかに記載の処理システム。
5. 前記確認画面表示手段は、前記操作用画面の中の、前記確認画面が重なっていない部分が操作されたら、前記確認画面を表示するのを止める、
   請求項１ないし請求項４のいずれかに記載の処理システム。
6. 特定の処理を行う処理装置と、リモートアクセスによって前記処理装置を制御する端末装置と、によって構成される処理システムであって、
   前記処理装置に、
   ソフトウェアキーボードおよび当該ソフトウェアキーボードによって当該処理装置に対して入力された第一のテキストを示すためのテキスト領域を有する操作用画面の画面データを、前記端末装置へ送信する画面データ送信手段、
   が設けられ、
   前記端末装置に、
   前記処理装置から送信されてきた前記画面データに基づいて前記操作用画面を表示する操作用画面表示手段と、
   音声を集音する集音手段と、
   前記操作用画面が表示された後に前記集音手段によって前記音声が集音され始めた場合に、集音され始めた旨の通知を前記処理装置へ送信する、通知手段と、
   集音された前記音声が表わす第二のテキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信するテキスト送信手段と、
   が設けられ、
   前記画面データ送信手段は、前記通知があった場合に、前記テキスト領域の高さを高くした前記操作用画面の前記画面データを送信し直し、
   前記操作用画面表示手段は、新たに送信されてきた前記画面データに基づいて前記操作用画面を表示し直す、
   ことを特徴とする処理システム。
7. 特定の処理を行う処理装置をリモートアクセスによって制御する端末装置であって、
   前記処理装置から送信されてきた画面データに基づいて、当該処理装置をユーザが操作するための、ソフトウェアキーボードおよび当該ソフトウェアキーボードによって入力された第一のテキストを示すための第一のテキスト領域を有する操作用画面を表示する操作用画面表示手段と、
   音声を集音する集音手段と、
   集音された前記音声が表わす第二のテキストを示すための第二のテキスト領域を有する確認画面を、前記処理装置から前記画面データとともに送信されてきた前記操作用画面における前記第一のテキスト領域の位置を示す位置データに基づいて前記第一のテキスト領域の上に重ねて表示する確認画面表示手段と、
   前記第二のテキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信するテキスト送信手段と、
   を有することを特徴とする端末装置。
8. 特定の処理を行う処理装置をリモートアクセスによって制御する端末装置であって、
   前記処理装置から送信されてきた画面データに基づいて、当該処理装置をユーザが操作するための、ソフトウェアキーボードおよび当該ソフトウェアキーボードによって入力された第一のテキストを示すための第一のテキスト領域を有する操作用画面を表示する操作用画面表示手段と、
   音声を集音する集音手段と、
   集音された前記音声が表わす第二のテキストを前記第一のテキスト領域に示される文字よりも大きいサイズで示すための第二のテキスト領域を有する確認画面を前記操作用画面の一部分の上に重ねて表示する確認画面表示手段と、
   前記第二のテキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信するテキスト送信手段と、
   を有することを特徴とする端末装置。
9. 端末装置からリモートアクセスによって制御される、特定の処理を行う処理装置であって、
   ソフトウェアキーボードおよび当該ソフトウェアキーボードによって当該処理装置に対して入力された第一のテキストを示すためのテキスト領域を有する操作用画面の画面データを、前記端末装置へ送信し、その後、音声の集音が開始された旨の通知が前記端末装置からあった場合に、前記テキスト領域の高さを高くした前記操作用画面の前記画面データを送信し直す、画面データ送信手段、
   を有することを特徴とする処理装置。
10. 特定の処理を行う処理装置を端末装置からのリモートアクセスによって制御する処理装置制御方法であって、
    前記処理装置に、
    当該処理装置をユーザが操作するための、ソフトウェアキーボードおよび当該ソフトウェアキーボードによって入力された第一のテキストを示すための第一のテキスト領域を有する操作用画面の画面データとともに、前記操作用画面における前記第一のテキスト領域の位置を示す位置データを前記端末装置へ送信する処理を実行させ、
    前記端末装置に、
    前記処理装置から送信されてきた前記画面データに基づいて前記操作用画面を表示する処理を実行させ、
    音声を集音する処理を実行させ、
    集音された前記音声が表わす第二のテキストを示すための第二のテキスト領域を有する確認画面を、前記位置データに基づいて前記第一のテキスト領域の上に重ねて表示する処理を実行させ、
    前記第二のテキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信する処理を実行させる、
    ことを特徴とする処理装置制御方法。
11. 特定の処理を行う処理装置を端末装置からのリモートアクセスによって制御する処理装置制御方法であって、
    前記処理装置に、
    当該処理装置をユーザが操作するための、ソフトウェアキーボードおよび当該ソフトウェアキーボードによって入力された第一のテキストを示すための第一のテキスト領域を有する操作用画面の画面データを前記端末装置へ送信する処理を実行させ、
    前記端末装置に、
    前記処理装置から送信されてきた前記画面データに基づいて前記操作用画面を表示する処理を実行させ、
    音声を集音する処理を実行させ、
    集音された前記音声が表わす第二のテキストを前記第一のテキスト領域に示される文字よりも大きいサイズで示すための第二のテキスト領域を有する確認画面を前記操作用画面の一部分の上に重ねて表示する処理を実行させ、
    前記第二のテキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信する処理を実行させる、
    ことを特徴とする処理装置制御方法。
12. 特定の処理を行う処理装置を端末装置からのリモートアクセスによって制御する処理装置制御方法であって、
    前記処理装置に、
    ソフトウェアキーボードおよび当該ソフトウェアキーボードによって当該処理装置に対して入力された第一のテキストを示すためのテキスト領域を有する操作用画面の画面データを、前記端末装置へ送信する処理を実行させ、
    前記端末装置に、
    前記処理装置から送信されてきた前記画面データに基づいて前記操作用画面を表示する処理を実行させ、
    音声を集音する処理を実行させ、
    前記操作用画面が表示された後に前記音声が集音され始めた場合に、集音され始めた旨の通知を前記処理装置へ送信する処理を実行させ、
    集音された前記音声が表わす第二のテキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信する処理を実行させ、
    前記処理装置に、
    前記通知があった場合に、前記テキスト領域の高さを高くした前記操作用画面の前記画面データを送信し直す処理を実行させ、
    前記端末装置に
    は、新たに送信されてきた前記画面データに基づいて前記操作用画面を表示し直す処理を実行させる、
    ことを特徴とする処理装置制御方法。
13. 特定の処理を行う処理装置をリモートアクセスによって制御するコンピュータに用いられるコンピュータプログラムであって、
    前記コンピュータに、
    前記処理装置から送信されてきた画面データに基づいて、当該処理装置をユーザが操作するための、ソフトウェアキーボードおよび当該ソフトウェアキーボードによって入力された第一のテキストを示すための第一のテキスト領域を有する操作用画面を表示する処理を実行させ、
    音声を集音する処理を実行させ、
    集音された前記音声が表わす第二のテキストを示すための第二のテキスト領域を有する確認画面を、前記処理装置から前記画面データとともに送信されてきた前記操作用画面における前記第一のテキスト領域の位置を示す位置データに基づいて前記第一のテキスト領域の上に重ねて表示する処理を実行させ、
    前記第二のテキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信する処理を実行させる、
    ことを特徴とするコンピュータプログラム。
14. 特定の処理を行う処理装置をリモートアクセスによって制御するコンピュータに用いられるコンピュータプログラムであって、
    前記コンピュータに、
    前記処理装置から送信されてきた画面データに基づいて、当該処理装置をユーザが操作するための、ソフトウェアキーボードおよび当該ソフトウェアキーボードによって入力された第一のテキストを示すための第一のテキスト領域を有する操作用画面を表示する処理を実行させ、
    音声を集音する処理を実行させ、
    集音された前記音声が表わす第二のテキストを前記第一のテキスト領域に示される文字よりも大きいサイズで示すための第二のテキスト領域を有する確認画面を前記操作用画面の一部分の上に重ねて表示する処理を実行させ、
    前記第二のテキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信する処理を実行させる、
    ことを特徴とするコンピュータプログラム。
15. 端末装置からリモートアクセスによって制御される、特定の処理を行うコンピュータに用いられるコンピュータプログラムであって、
    前記コンピュータに、
    ソフトウェアキーボードおよび当該ソフトウェアキーボードによって当該コンピュータに対して入力された第一のテキストを示すためのテキスト領域を有する操作用画面の画面データを、前記端末装置へ送信する処理を実行させ、
    その後、音声の集音が開始された旨の通知が前記端末装置からあった場合に、前記テキスト領域の高さを高くした前記操作用画面の前記画面データを送信し直す処理を実行させる、
    ことを特徴とするコンピュータプログラム。

Images