JP2024071224A - 通信装置、画像生成システム、通信装置の制御方法、画像生成システムの制御方法及びプログラム - Google Patents

Abstract

【課題】クラウドブラウザを利用する通信装置でユーザが選択可能な選択要素を適切に表示する通信装置、画像生成システム、通信装置の制御方法、画像生成システムの制御方法及びプログラムを提供する。
【解決手段】クラウドブラウザとして機能する画像生成システムと通信可能な通信装置であって、クラウドブラウザを用いて表示中のＷｅｂページにおける選択要素に関連する選択要素関連情報を画像生成システムから受信する送受信部と、選択要素関連情報に基づいて、選択要素を、Ｗｅｂページでの第１の表示形式から第１の表示形式とは異なる第２の表示形式に変換して表示するための選択ＵＩを生成する選択ＵＩ生成部と、選択ＵＩを通信装置の表示手段に表示させる制御部と、を備える。
【選択図】図２

Description

本発明は、通信装置、画像生成システム、通信装置の制御方法、画像生成システムの制御方法及びプログラムに関する。

現在、Ｗｅｂブラウザ（以下、ブラウザ）を搭載し、そのブラウザ上でＷｅｂページを閲覧できる機能を有する通信装置が普及している。ブラウザを通して外部サービスのＷｅｂページを表示することにより、通信装置が外部サービスと連携できるようになる。

Ｗｅｂページの中には、例えばユーザ情報登録画面やアンケート画面のように、ユーザと対話してユーザに情報を選択、および、指定させるものがある。こういったＷｅｂページを実現する場合、特定のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部品を画面に表示することが可能な選択要素が利用される。選択要素を表現するＧＵＩ部品は、Ｗｅｂ標準仕様に従って位置やサイズ、色などの装飾が決まる。

現在、ブラウザは複写機などの組込み製品でも利用されている。組込み製品は、ＰＣやスマートフォンと比較して、搭載できるメモリ容量やディスク容量が少ない場合が多い。よって、組込み製品向けブラウザは、汎用的なＰＣブラウザから特定の機能を削減した上で製品に搭載されることがある。そのため、組込み製品向けブラウザは、特定の選択要素を表示できない場合がある。

これに対して、特許文献１は、ブラウザが表示できない選択要素について、予め規定された変換テーブルに従って、表示可能な要素で代替することを開示している。本来表示できない要素でも類似する要素で代替して表示することにより、ユーザの利便性を損なうことを回避できる。

一方、ブラウザの形態として、クラウドサーバ上でＷｅｂページの描画結果を生成するクラウドブラウザと呼ばれる形態がある。Ｗｅｂページの解析処理や実行処理といった計算負荷の高い処理をサーバ上で実行することにより、通信装置に計算負荷がかからなくなる。クラウドブラウザでは、クラウドサーバである画像生成システム上で生成されたＷｅｂページの描画結果のサイズと、通信装置の画面サイズが異なる場合、通信装置は画面サイズに合わせて、描画結果を拡大又は縮小する。クラウドブラウザは、組込みブラウザが搭載できない低機能の製品向けのサービスであるため、Ｗｅｂページの描画結果よりも、通信装置の画面サイズが小さいことが多い。よって、多くの場合、通信装置はクラウドサービスから取得した描画結果を縮小して表示する。

特許第６５２４３０６号公報

しかしながら、特許文献１の技術では、ユーザが目にする選択要素のＧＵＩ部品は通信装置の画面で表示されるものであり、通信装置は画像生成システムが生成した描画結果を縮小するため、選択要素が小さく表示されてしまう。そのため、ユーザの意図に沿って選択を行うことが難しい。

本発明は、上記の課題に鑑みてなされたものであり、クラウドブラウザを利用する通信装置でユーザが選択可能な選択要素を適切に表示するための技術を提供することを目的とする。

上記の目的を達成するための本発明に係る通信装置は、
クラウドブラウザとして機能する画像生成システムと通信可能な通信装置であって、
前記クラウドブラウザを用いて表示中のＷｅｂページにおける選択要素に関連する選択要素関連情報を前記画像生成システムから受信する受信手段と、
前記選択要素関連情報に基づいて、前記選択要素を、前記Ｗｅｂページでの第１の表示形式から前記第１の表示形式とは異なる第２の表示形式に変換して表示するための選択ＵＩを生成する生成手段と、
前記選択ＵＩを前記通信装置の表示手段に表示させる制御手段と、
を備えることを特徴とする。

本発明によれば、クラウドブラウザを利用する通信装置でユーザが選択可能な選択要素を適切に表示することが可能となる。

一実施形態に係る仮想マシンのハードウェア構成の一例を示す図である。 一実施形態に係る画像生成システム及び通信装置の構成例を示す図である。 実施形態１に係る画像生成システムが実施する処理の手順を示すフローチャートである。 実施形態１に係る通信装置が実施する処理の手順を示すフローチャートである。 （Ａ）一実施形態に係る画像生成システムで選択要素関連情報を抽出する実装例を示す図であり、（Ｂ）一実施形態に係る選択結果を適用する実装例を示す図である。 （Ａ）一実施形態に係る選択要素を含むＷｅｂページの記述例を示す図であり、（Ｂ）一実施形態に係る選択要素関連情報の表現例を示す図であり、（Ｃ）一実施形態に係る選択要素関連情報を通信装置の画面サイズに適した表示形式に変換する例を示す図であり、（Ｄ）一実施形態に係る選択結果の表現例を示す図である。 （Ａ）及び（Ｂ）Ｗｅｂ標準仕様に基づく選択要素の表示結果を示す図であり、（Ｃ）Ｗｅｂ標準仕様に基づく選択要素の表示結果を通信装置の画面サイズに合わせた表示結果を示す図である。 （Ａ）－（Ｃ）一実施形態に係る通信装置の画面サイズに適した選択要素の表示結果を示す図である。 （Ａ）－（Ｃ）通信装置の画面サイズに合わせて選択要素の操作方法（選択ＵＩの種別）を変更した例を示す図である。 実施形態２に係る画像生成システムが実施する処理の手順を示すフローチャートである。 実施形態２に係る通信装置が実施する処理の手順を示すフローチャートである。 一実施形態に係る選択要素を複数含むＷｅｂページの記述例を示す図である。 （Ａ）選択要素を複数含むＷｅｂページをＷｅｂ標準仕様に基づいて表示した結果を示す図であり、（Ｂ）選択要素を複数含む選択要素関連情報の表現例を示す図である。 （Ａ）一実施形態に係る複数の選択要素関連情報を通信装置の画面サイズに適した表示形式に変換する例を示す図であり、（Ｂ）一実施形態に係る通信装置の画面サイズに適した複数の選択要素の表示結果を示す図であり、（Ｃ）一実施形態に係る複数の選択結果の表現例を示す図であり、（Ｄ）ユーザが選択ＵＩを操作してｒａｄｉｏボタンとｃｈｅｃｋｂｏｘの選択候補を決定した結果を示す図である。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（実施形態１）
本実施形態では、クラウドブラウザにおいて、遠隔のクラウドサービスから選択要素を含むＷｅｂページの描画結果、および、選択要素関連情報を受信し、通信装置の画面サイズに合わせて、描画結果に選択要素を重畳表示する例を説明する。ここで、Ｗｅｂページに含まれる選択要素の代表例としては、ｓｅｌｅｃｔ要素、ｒａｄｉｏボタン、ｃｈｅｃｋｂｏｘなどがある。本実施形態では、ｓｅｌｅｃｔ要素を含んだＷｅｂページを、通信装置で表示する例を示す。

＜ハードウェア構成＞
図１は、本実施形態に係る画像生成システムが備える仮想マシンのハードウェア構成の一例を示す図である。

図１において、１０１は、図２に示す仮想マシン２０５全体を制御する１つ以上のＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）である。１０２は、変更を必要としないプログラムやパラメータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）である。１０３は、外部装置などから供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）である。１０４は、保持するデータや供給されたデータを表示するためのインタフェースである。

１０５は、ＣＰＵ１０１～インタフェース１０４の各構成要素を通信可能に接続するシステムバスである。ユーザからの操作を受けてデータを入力するマウスなどのポインティングデバイスやキーボードなどの入力デバイスとのインタフェース等があってもよい。また仮想マシン２０５に仮想的に固定して設置されたハードディスクやメモリカード等があってもよい。あるいは、仮想マシン２０５から仮想的に着脱可能なフレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含む外部記憶装置等があってもよい。さらに、インターネットなどのネットワーク回線に接続するためのネットワークインタフェース等があってもよい。

＜画像生成システム及び通信装置の構成＞
次に、本実施形態に係るクラウドブラウザの構成例について説明する。図２は、実施形態１に係る画像生成システム及び通信装置の構成を示す図である。図２において、２０１は通信装置であり、２０３は画像生成システムである。本実施形態においては、通信装置２０１は例えば複合機（ＭＦＰ：Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）であり、画像生成システム２０３はクラウドブラウザの機能を提供する。

ユーザは、通信装置２０１の画面を閲覧している。通信装置２０１は、ユーザが閲覧したいＷｅｂページ２０２のＵＲＬを、送受信部２１２を通して、画像生成システム２０３へ送信する。

次に、画像生成システム２０３は、受信したＵＲＬを用いてＷｅｂページ２０２にアクセスし、描画結果生成部２０９が、Ｗｅｂページ２０２の描画結果を生成する。その後、画像生成システム２０３は、通信装置２０１から描画結果の取得要求があった場合、送受信部２１０を介して、描画結果生成部２０９により生成した描画結果を通信装置２０１へ送信する。通信装置２０１は、送受信部２１２を介して描画結果を受信する。さらに、選択ＵＩ生成部２１３は、通信装置２０１の表示部２１１の画面サイズに合わせた選択ＵＩを生成し、制御部２１４は、受信した描画結果の上に選択ＵＩを重畳して表示部２１１に表示する。その後、表示部２１１が専用ビュー２１４を画面に表示する。

ここで、選択ＵＩとは、選択候補を表示するために通信装置側が生成したＵＩを示す。Ｗｅｂ標準技術に基づいて組込みブラウザが表示する選択候補の表示結果は、本実施形態では選択ＵＩと呼ばない。

画像生成システム２０３は、ゲートウェイ２０４と仮想マシン２０５とを含む。ブラウザ２０６は仮想マシン２０５上で稼働する。ブラウザ２０６は、いわゆるブラウザエンジンであり、ＨＴＭＬ、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＣＳＳ等の解析や、ユーザ操作・通信イベントに伴う処理を実行する。通信装置２０１と仮想マシン２０５との間の通信、および、Ｗｅｂページ２０２と仮想マシン２０５との間の通信は、ゲートウェイ２０４を介して行われる。

仮想マシン２０５の操作指示判定部２０７は、通信装置２０１から受信したユーザの操作指示に基づいて、ブラウザ２０６で表示中のＷｅｂページ２０２に含まれる選択要素を、ユーザが押下したか否かを判定する。選択要素は、チェックボックス、コマンドボタン、コマンドリンク、コンボボックス、グループボックス、リストボックス、リストビュー、ラジオボタン、スライダ、及びスピンコントロールのうちの少なくとも１つを含むことができる。選択要素関連情報取得部２０８は、ユーザの操作指示が選択要素を押下する指示であった場合、選択要素関連情報を取得する。選択要素関連情報は、選択要素の表示位置、選択要素の表示サイズ、選択要素の装飾情報（色等）、及び選択要素の並び順のうち少なくとも１つを含むことができる。

＜画像生成システムの処理＞
続いて、図３のフローチャートを参照して、本実施形態に係る画像生成システム（仮想マシン）が実施する処理の手順を説明する。

（Ｓ３０１）
Ｓ３０１において、ブラウザ２０６は、通信装置２０１から受信したＷｅｂページのＵＲＬを読み込む。

（Ｓ３０２）
Ｓ３０２において、操作指示判定部２０７は、通信装置２０１から送信されたユーザの操作指示を受信する。ユーザの操作指示は、例えば、通信装置２０１の画面を指で触る"タップ"操作や、通信装置２０１に装備されたキーボードを押下する"キー入力"操作などの属性を示す情報を含む。また、ユーザの操作指示は、ユーザが通信装置２０１の画面上で触った場所を示すｘ、ｙ座標の情報や、ユーザが押下したキーの値といった、操作の属性ごとに付属される情報を含みうる。ＷｅｂページのＵＲＬの情報や、ユーザの操作指示は、ゲートウェイ２０４及び送受信部２１０を通ってブラウザ２０６へ到達する。

（Ｓ３０３）
Ｓ３０３において、操作指示判定部２０７は、ユーザが押下した要素が、選択要素であるか否かを判定する。ユーザが押下した要素が選択要素である場合、Ｓ３０４へ進む。一方、ユーザが押下した要素が選択要素ではない場合、Ｓ３０９へ進む。

ここで、図６（Ａ）と図７（Ａ）－図７（Ｃ）を利用して、Ｗｅｂ標準仕様に基づいた選択要素の表示結果の例について説明する。図６（Ａ）は、ｓｅｌｅｃｔ要素を含んだＷｅｂページの記述例である。このｓｅｌｅｃｔ要素は、子要素としてｏｐｔｉｏｎ要素を４つ含む。最初のｏｐｔｉｏｎ要素である－－－－－は、ユーザが選択要素を操作する前から表示される。

図７（Ａ）は、図６（Ａ）の表示結果である。最初のｏｐｔｉｏｎ要素は－－－－－であるため、図７（Ａ）には－－－－－が表示されている。ユーザが－－－－－の部分を押下した場合、Ｓ３０３において、ユーザが押下した要素が選択要素であると判定される。

組込みブラウザで、ユーザが－－－－－の部分を押下したと判定した場合、組込みブラウザは、図７（Ｂ）を表示する。図７（Ｂ）では、４つのｏｐｔｉｏｎ要素が縦に並んで表示されている。

クラウドブラウザでは、画像生成システム２０３が図７（Ａ）や図７（Ｂ）を描画結果として生成し、通信装置２０１へ送信する。図７（Ｃ）は、図７（Ｂ）を通信装置２０１の画面サイズに合わせて縮小した結果である。図７（Ｃ）を見て分かる通り、選択要素も縮小されて表示されてしまっており、ユーザは選択要素を選択することが難しくなる。

（Ｓ３０４）
Ｓ３０４において、選択要素関連情報取得部２０８は、Ｗｅｂページから選択要素関連情報を抽出する。ここで、図５（Ａ）に、選択要素関連情報を抽出する実装例を示す。図５（Ａ）のｔａｒｇｅｔには、ユーザが押下した座標にある要素が格納される。ユーザが押下した要素がｓｅｌｅｃｔ要素であれば、ｔａｒｇｅｔにはｓｅｌｅｃｔ要素が格納される。

ここで、選択要素関連情報に含まれる選択要素の位置とサイズは、ｔａｒｇｅｔ．ｇｅｔＢｏｕｎｄｉｎｇＣｌｉｅｎｔＲｅｃｔ（）で取得できる。ｔａｒｇｅｔ．ｇｅｔＢｏｕｎｄｉｎｇＣｌｉｅｎｔＲｅｃｔ（）はｘ、ｙ座標と、ｗｉｄｔｈとｈｅｉｇｈｔを出力する。

（Ｓ３０５）
Ｓ３０５において、選択要素関連情報取得部２０８は、Ｓ３０４で取得した選択要素関連情報を、送受信部２１０を介して通信装置２０１へ送信する。

（Ｓ３０６）
Ｓ３０６において、描画結果生成部２０９は、送受信部２１０を介して、通信装置２０１からユーザの選択結果を受信したか否かを判定する。選択結果を受信した場合、Ｓ３０７へ進む。一方、選択結果を受信していない場合、Ｓ３０８へ進む。

（Ｓ３０７）
Ｓ３０７において、描画結果生成部２０９は、通信装置２０１から受信した選択結果をＷｅｂページに適用する。

ここで、図５（Ｂ）及び図６（Ｄ）を参照して、Ｓ３０７の処理の詳細を説明する。図５（Ｂ）は、選択結果をＷｅｂページに適用する実装例である。また、図６（Ｄ）は、選択結果の表現例である。

図５（Ｂ）では、１つ目の選択候補のｓｅｌｅｃｔｅｄをｔｒｕｅに指定している。図６（Ｄ）を見ると、選択要素の１つ目の選択候補が選択されたことが分かる。通信装置２０１が図６（Ｄ）の文字列を画像生成システム２０３へ送信すると、Ｓ３０７において、画像生成システム２０３は、図５（Ｂ）の実装を利用して、Ｗｅｂページ上で１つ目の選択候補を選択状態とする。

（Ｓ３０８）
Ｓ３０８において、描画結果生成部２０９は、所定時間処理を待機し、その後、Ｓ３０６に戻る。

（Ｓ３０９）
Ｓ３０９において、操作指示判定部２０７は、ユーザの操作指示をブラウザ２０６に通知する。

（Ｓ３１０）
Ｓ３１０において、描画結果生成部２０９は、画面を更新する。Ｓ３０７で選択結果がＷｅｂページに適用されたため、図７（Ａ）の－－－－－の部分は、ユーザが選択した選択候補に置き換わる。

（Ｓ３１１）
Ｓ３１１において、描画結果生成部２０９は、描画結果を生成する。

（Ｓ３１２）
Ｓ３１２において、ブラウザ２０６は、送受信部２１０を介して、通信装置２０１へ描画結果を送信する。

（Ｓ３１３）
Ｓ３１３において、操作指示判定部２０７は、ユーザがＷｅｂページの閲覧を終了したか否か判定する。Ｗｅｂページの閲覧を終了した場合は、処理を終了する。一方、Ｗｅｂページの閲覧を継続する場合は、Ｓ３０２に戻る。

＜通信装置の処理＞
次に、図４のフローチャートを参照して、本実施形態に係る通信装置が実施する処理の手順を説明する。

Ｓ４０１において、制御部２１４は、専用ビューを起動し、ユーザの操作指示を受け付ける。Ｓ４０２において、制御部２１４は、送受信部２１２を介して、ユーザの操作指示を画像生成システム２０３へ送信する。Ｓ４０３において、制御部２１４は、画像生成システム２０３から選択要素関連情報を受信したか否かを判定する。選択要素関連情報を受信した場合、Ｓ４０４へ進む。一方、選択要素関連情報を受信していない場合、Ｓ４１２へ進む。

Ｓ４０４において、選択ＵＩ生成部２１３は、選択要素関連情報から、値が空の選択候補を抽出する。ここで図６（Ｂ）に、選択要素関連情報の表現例を示す。図６（Ｂ）を見ると、ｉｄが０の選択候補のｖａｌｕｅが空であることが分かる。本実施形態では、選択候補の値が空の場合、その選択候補は選択ＵＩで表示しない。表示しない理由としては、ｖａｌｕｅが空の選択候補はユーザが選択する前の規定値として利用されるため、ユーザが意図して規定値を選択する事例が少ないからである。図７（Ｂ）における規定値は－－－－－の部分である。なお、本実施形態ではｖａｌｕｅが空の選択候補を選択ＵＩで表示しない例を説明したが、表示するように構成してもよい。

Ｓ４０５において、選択ＵＩ生成部２１３は、選択ＵＩの種別を決定する。選択ＵＩの種別としては、選択候補のボタンを並べたタイル状ＵＩや、疑似的な円柱に選択候補を並べたドラムロールなどがある。ここで、ドラムロールの例を図９に示す。図９（Ａ）の下向き三角形を押下すると、図９（Ｂ）の表示結果となる。さらに、図９（Ｂ）の下向き三角形を押下すると、図９（Ｃ）の表示結果となる。

本実施形態では、選択ＵＩの種別として、図８（Ｂ）に示すような、複数の選択候補のボタン８１１を並べたタイル状ＵＩである選択ＵＩ８１０を採用する。ただし、選択候補の数が多い場合、タイル状に並べると一つ一つの選択候補の表示が小さくなるため、ドラムロールで表示してもよい。

Ｓ４０６において、選択ＵＩ生成部２１３は、選択ＵＩのレイアウトを決定する。本実施形態では、画像生成システム２０３から受信する選択要素関連情報は、図６（Ｂ）に示される通りであり、選択候補は４つである。その中で表示対象は、Ｓ４０４で抽出した値が空の要素以外の３つの選択候補である。この３つの選択候補にＯＫボタンを追加して、合計４つのボタンを、縦２つ、横２つに並べる。このように、選択候補の数に基づいてレイアウトを決定する。

Ｓ４０７において、選択ＵＩ生成部２１３は、選択候補のフォントサイズを決定する。本実施形態では、選択候補ごとにフォントサイズを変更する。具体的には、選択候補の表示文言の文字列数に応じて、フォントサイズを変更する。例えば、Ｔｏｋｙｏであれば５文字であり、フォントサイズを大きくしても１行に収まるが、Ｋａｎａｇａｗａだと８文字あるため、Ｔｏｋｙｏと同じフォントサイズにすると改行されてしまう。そこで、ＫａｎａｇａｗａはＴｏｋｙｏより小さいフォントサイズとする。本実施形態では、Ｔｏｋｙｏのフォントサイズを４４ｐｘ、Ｋａｎａｇａｗａのフォントサイズを４０ｐｘとする。

Ｓ４０８において、選択ＵＩ生成部２１３は、選択ＵＩの装飾（例えば色）を決定する。図６（Ａ）を見ると、Ｗｅｂページに選択候補の背景色の指定がない。よって、選択候補の背景色はＷｅｂページの規定の色である白となる。しかし、色が規定色のままだと目立たない。よって、選択ＵＩでは、選択候補の背景色を黒とするように決定する。

ここで、Ｓ４０４～Ｓ４０８までの処理で決定した選択ＵＩの表示形式に関する指定を、図６（Ｃ）にまとめる。図６（Ｃ）において、Ｗｅｂ Ｐａｇｅ Ｓｔｙｌｅは、Ｗｅｂ標準技術に従った表示形式を示す。またＤｅｖｉｃｅ ＧＵＩ Ｓｔｙｌｅは、本実施形態における選択ＵＩの表示形式を示す。

ここで、図６（Ｃ）のＷｅｂ Ｐａｇｅ Ｓｔｙｌｅの表示形式での表示結果を図８（Ａ）に示す。また、Ｄｅｖｉｃｅ ＧＵＩ Ｓｔｙｌｅの表示形式での表示結果を図８（Ｂ）に示す。図８（Ａ）を見て分かる通り、組込みブラウザの表示結果では、選択候補８０１が縦４０ｐｘ、横１６０ｐｘで、小さく表示されている。これに対して、図８（Ｂ）では、選択ＵＩ生成部２１３が、縦１００ｐｘ、横１８０ｐｘで選択候補８１１を表示する選択ＵＩ８１０を生成しており、大きく表示されている。すなわち、Ｄｅｖｉｃｅ ＧＵＩ Ｓｔｙｌｅの表示形式は、Ｗｅｂ Ｐａｇｅ Ｓｔｙｌｅの表示形式よりも通信装置２０１の表示部２１１での視認性が高い。

Ｓ４０９において、制御部２１４は、図７（Ａ）に示したような描画結果７０１に、選択ＵＩ８１０を重畳して表示部２１１に表示する。表示部２１１が通信装置の画面に表示した結果を図８（Ｃ）に示す。その後、図８（Ｃ）の表示結果をユーザが操作し、ユーザによる選択を受け付け、選択結果を取得する。

Ｓ４１０において、制御部２１４は、送受信部２１２を介して、その選択結果を画像生成システム２０３へ送信する。Ｓ４１１において、制御部２１４は、ユーザがクラウドブラウザを利用した閲覧を終了したか否か判定する。閲覧を終了した場合、処理を終了する。一方、閲覧を継続している場合、Ｓ４０２に戻る。

Ｓ４１２において、制御部２１４は、画像生成システム２０３から描画結果を受信したか否かを判定する。描画結果を受信した場合、Ｓ４１３へ進む。一方、描画結果を受信していない場合、Ｓ４１１へ進む。

Ｓ４１３において、制御部２１４は、受信した描画結果を表示部２１１の画面に表示する。本実施形態では、専用ビューに描画結果を表示し、表示部２１１が専用ビューを画面に表示することで、描画結果を画面に表示している。

以上説明したように、本実施形態によれば、通信装置の画面サイズが小さい場合であっても、例えば図８（Ｃ）に示したように、選択候補を大きく表示することができ、ユーザが選択結果を選択しやすくなる。すなわち、選択要素を通信装置の画面に表示する際に、通信装置の画面サイズに合わせて視認しやすい表示形式で選択要素を表示することができる。

このように、本実施形態によれば、クラウドブラウザを利用する通信装置においてユーザが選択可能な選択要素を適切に表示することが可能となる。

（実施形態２）
本実施形態では、クラウドブラウザにて、遠隔のクラウドサービスから複数種類の選択要素を含むＷｅｂページの描画結果、および、選択要素関連情報を受信し、通信装置の画面サイズに合わせて、描画結果に選択要素を重畳表示する例を説明する。本実施形態では、ｒａｄｉｏボタン、および、ｃｈｅｃｋｂｏｘを含んだＷｅｂページを、通信装置で表示する例を示す。また、選択ＵＩに複数種類の選択要素を同時に表示することで、一度のユーザ操作で、複数種類の選択要素のそれぞれについて選択を行う手順を示す。システム構成及び装置構成については実施形態１と同様であるため、説明を省略する。

＜画像生成システムの処理＞
まず、図１０のフローチャートを参照して、本実施形態に係る画像生成システムが実施する処理の手順を説明する。実施形態１と同じ処理については同じ参照符号を付しており、詳細な説明は省略する。

本実施形態では、Ｓ３０４の処理の代わりに、Ｓ１００４の処理を実施する。実施形態１では、Ｓ３０４において、ユーザが押下した選択要素の選択要素関連情報を抽出する例を説明した。これに対して、本実施形態では、Ｓ１００４において、選択要素関連情報取得部２０８は、表示中の全ての種類の選択要素の選択要素関連情報を抽出する。

＜通信装置の処理＞
次に、図１１のフローチャートを参照して、本実施形態に係る通信装置が実施する処理の手順を説明する。実施形態１と同じ処理については同じ参照符号を付しており、詳細な説明は省略する。

実施形態１では、取り扱う選択要素が１種類のみであったが、本実施形態ではＷｅｂページ中に含まれる複数種類の選択要素を取り扱う。そのため、本実施形態では、実施形態１の処理にＳ１１０１の処理とＳ１１０２の処理とを追加し、選択要素関連情報に含まれる全ての種類の選択要素を順次処理する。例えば、本実施形態では、Ｓ４０３においてｒａｄｉｏボタン、および、ｃｈｅｃｋｂｏｘを含んだ選択要素関連情報を受信するため、Ｓ１１０２、Ｓ４０４～Ｓ４０８の処理が２回実施されることになる。

ここで、図１２及び図１３（Ａ）を参照して、Ｗｅｂ標準仕様に基づいた複数種類の選択要素の表示結果について説明する。図１２は、ｒａｄｉｏボタン、および、ｃｈｅｃｋｂｏｘを含んだＷｅｂページの記述例である。図１２に示すｒａｄｉｏボタンは、Ｔｏｋｙｏ、Ｋａｎａｇａｗａ、Ｓａｉｔａｍａの３つの選択肢を有する。また図１２のｃｈｅｃｋｂｏｘは、Ｃａｒ、Ｐｌａｎｅ、Ｓｈｉｐの３つの選択肢を有する。ｃｈｅｃｋｅｄ属性が付与されている選択肢は、ユーザが選択結果を決定する前から選択された状態となる。

そして、図１３（Ａ）は、図１２の記述例の表示結果である。図１３（Ａ）の表示結果も、通信装置の画面サイズに合わせて縮小すると、選択要素も縮小されて表示されてしまうため、ユーザは選択要素を選択することが難しくなる。

一方、図１３（Ｂ）は、図１０のＳ１００４で抽出した選択要素関連情報である。図１３（Ｂ）にはｅｌｅｍｅｎｔキーがｉｎｐｕｔの選択要素が２種類含まれる。一つはｒａｄｉｏキーを持ち、もう一つはｃｈｅｃｋｂｏｘキーを持つ。ｒａｄｉｏキーを持つｉｎｐｕｔの選択要素はｒａｄｉｏボタンを示し、ｃｈｅｃｋｂｏｘキーを持つｉｎｐｕｔの選択要素はｃｈｅｃｋｂｏｘを示す。

図１４（Ａ）は、ｒａｄｉｏボタンについて、図１１のＳ４０４～Ｓ４０８までの処理で決定した選択ＵＩの表示形式に関する指定をまとめた結果である。また、図１４（Ｂ）はｃｈｅｃｋｂｏｘについて、図１１のＳ４０４～Ｓ４０８までの処理で決定した選択ＵＩの表示形式に関する指定をまとめた結果である。本実施形態では、選択ＵＩの種別、選択ＵＩのレイアウト（選択要素の位置及びサイズ）、選択要素に含まれる各選択候補のフォントサイズ、選択ＵＩの装飾（例えば色）は、いずれも実施形態１と同じ形態である。

図１４（Ｃ）は、図１１のＳ４０９において、それまで表示していた描画結果に、選択ＵＩを重畳表示した結果である。図１４（Ｃ）において、選択ＵＩは、選択ＵＩ１４０１及び選択ＵＩ１４０２である。選択ＵＩ１４０１は、ｒａｄｉｏボタンの選択候補を示し、選択ＵＩ１４０２は、ｃｈｅｃｋｂｏｘの選択候補を示す。図１４（Ｃ）の選択ＵＩでは、ｒａｄｉｏボタンとｃｈｅｃｋｂｏｘの選択候補を同時に大きく表示している。これにより、ｒａｄｉｏボタンの選択候補を決定した後、ｃｈｅｃｋｂｏｘを押下せずとも、図１４（Ｃ）の画面上でさらにｃｈｅｃｋｂｏｘの選択候補を決定することができる。

そして、図１４（Ｄ）に記載の情報は、ユーザが選択ＵＩを操作して、ｒａｄｉｏボタンとｃｈｅｃｋｂｏｘの選択候補を決定した結果である。図１４（Ｄ）に記載の情報は、Ｓ４１０で画像生成システム２０３へ送信される。画像生成システム２０３は、Ｓ３０７において、図１４（Ｄ）の情報に基づいて、選択結果をＷｅｂページに反映する。

以上説明したように、本実施形態によれば、選択ＵＩに複数種類の選択要素を同時に表示することで、一度のユーザ操作で、複数種類の選択要素のそれぞれについて選択を行うことが可能となる。

本明細書の開示は、以下の通信装置、画像生成システム、通信装置の制御方法、画像生成システムの制御方法及びプログラムを含む。

（項目１）
クラウドブラウザとして機能する画像生成システムと通信可能な通信装置であって、
前記クラウドブラウザを用いて表示中のＷｅｂページにおける選択要素に関連する選択要素関連情報を前記画像生成システムから受信する受信手段と、
前記選択要素関連情報に基づいて、前記選択要素を、前記Ｗｅｂページでの第１の表示形式から前記第１の表示形式とは異なる第２の表示形式に変換して表示するための選択ＵＩを生成する生成手段と、
前記選択ＵＩを前記通信装置の表示手段に表示させる制御手段と、
を備えることを特徴とする通信装置。

（項目２）
前記選択要素関連情報は、前記選択要素の表示位置、前記選択要素の表示サイズ、前記選択要素の装飾情報、及び前記選択要素の並び順のうち少なくとも１つを含むことを特徴とする項目１に記載の通信装置。

（項目３）
前記生成手段は、前記表示位置、前記表示サイズ、前記装飾情報、及び前記並び順のうち少なくとも１つを変更することにより、前記選択要素を前記第１の表示形式から前記第２の表示形式に変換することを特徴とする項目２に記載の通信装置。

（項目４）
前記装飾情報は、フォントサイズを含むことを特徴とする項目２又は３に記載の通信装置。

（項目５）
前記生成手段は、前記選択要素関連情報に基づいて前記選択要素に含まれる選択候補の値が空である場合、前記選択候補を前記選択ＵＩに含めないことを特徴とする項目１乃至４の何れか１項目に記載の通信装置。

（項目６）
前記制御手段は、前記画像生成システムから受信した描画結果に前記選択ＵＩを重畳して前記表示手段に表示させることを特徴とする項目１乃至５の何れか１項目に記載の通信装置。

（項目７）
前記選択要素は、前記Ｗｅｂページにおいてユーザにより押下された選択要素であることを特徴とする項目１乃至６の何れか１項目に記載の通信装置。

（項目８）
前記選択要素は、前記Ｗｅｂページ中の複数種類の選択要素であることを特徴とする項目１乃至７の何れか１項目に記載の通信装置。

（項目９）
前記生成手段は、前記Ｗｅｂページ中に複数種類の選択要素がある場合、各種類の選択要素に対して前記選択ＵＩを生成することを特徴とする項目８に記載の通信装置。

（項目１０）
前記選択要素は、チェックボックス、コマンドボタン、コマンドリンク、コンボボックス、グループボックス、リストボックス、リストビュー、ラジオボタン、スライダ、及びスピンコントロールのうちの少なくとも１つを含むことを特徴とする項目１乃至８の何れか１項目に記載の通信装置。

（項目１１）
前記第２の表示形式は、前記第１の表示形式よりも前記通信装置の前記表示手段での視認性が高いことを特徴とする項目１乃至１０の何れか１項目に記載の通信装置。

（項目１２）
クラウドブラウザとして機能する画像生成システムと通信可能な通信装置の制御方法であって、
前記クラウドブラウザを用いて表示中のＷｅｂページにおける選択要素に関連する選択要素関連情報を前記画像生成システムから受信する受信工程と、
前記選択要素関連情報に基づいて、前記選択要素を、前記Ｗｅｂページでの第１の表示形式から前記第１の表示形式とは異なる第２の表示形式に変換して表示するための選択ＵＩを生成する生成工程と、
前記選択ＵＩを前記通信装置の表示手段に表示させる制御工程と、
を有することを特徴とする通信装置の制御方法。

（項目１３）
クラウドブラウザとして機能する画像生成システムであって、
前記クラウドブラウザを用いて表示中のＷｅｂページにおける選択要素に関連する選択要素関連情報を取得する取得手段と、
前記取得手段により取得された前記選択要素関連情報を通信装置へ送信する送信手段と、
を備えることを特徴とする画像生成システム。

（項目１４）
クラウドブラウザとして機能する画像生成システムの制御方法であって、
前記クラウドブラウザを用いて表示中のＷｅｂページにおける選択要素に関連する選択要素関連情報を取得する取得工程と、
前記取得工程により取得された前記選択要素関連情報を通信装置へ送信する送信工程と、
を有することを特徴とする画像生成システムの制御方法。

（項目１５）
コンピュータを、項目１乃至１１の何れか１項目に記載の通信装置として機能させるためのプログラム。

（項目１６）
コンピュータを、項目１３に記載の画像生成システムとして機能させるためのプログラム。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２０１：通信装置、２０２：Ｗｅｂページ、２０３：画像生成システム、２０４：ゲートウェイ、２０５：仮想マシン、２０６：ブラウザ、２０７：操作指示判定部、２０８：選択要素関連情報取得部、２０９：描画結果生成部、２１０：送受信部、２１１：表示部、２１２：送受信部、２１３：選択ＵＩ生成部、２１４：制御部

Claims (16)

1. クラウドブラウザとして機能する画像生成システムと通信可能な通信装置であって、
   前記クラウドブラウザを用いて表示中のＷｅｂページにおける選択要素に関連する選択要素関連情報を前記画像生成システムから受信する受信手段と、
   前記選択要素関連情報に基づいて、前記選択要素を、前記Ｗｅｂページでの第１の表示形式から前記第１の表示形式とは異なる第２の表示形式に変換して表示するための選択ＵＩを生成する生成手段と、
   前記選択ＵＩを前記通信装置の表示手段に表示させる制御手段と、
   を備えることを特徴とする通信装置。
2. 前記選択要素関連情報は、前記選択要素の表示位置、前記選択要素の表示サイズ、前記選択要素の装飾情報、及び前記選択要素の並び順のうち少なくとも１つを含むことを特徴とする請求項１に記載の通信装置。
3. 前記生成手段は、前記表示位置、前記表示サイズ、前記装飾情報、及び前記並び順のうち少なくとも１つを変更することにより、前記選択要素を前記第１の表示形式から前記第２の表示形式に変換することを特徴とする請求項２に記載の通信装置。
4. 前記装飾情報は、背景色の情報を含むことを特徴とする請求項２に記載の通信装置。
5. 前記生成手段は、前記選択要素関連情報に基づいて前記選択要素に含まれる選択候補の値が空である場合、前記選択候補を前記選択ＵＩに含めないことを特徴とする請求項１に記載の通信装置。
6. 前記制御手段は、前記画像生成システムから受信した描画結果に前記選択ＵＩを重畳して前記表示手段に表示させることを特徴とする請求項１に記載の通信装置。
7. 前記選択要素は、前記Ｗｅｂページにおいてユーザにより押下された選択要素であることを特徴とする請求項１に記載の通信装置。
8. 前記選択要素は、前記Ｗｅｂページ中の複数種類の選択要素であることを特徴とする請求項１に記載の通信装置。
9. 前記生成手段は、前記Ｗｅｂページ中に複数種類の選択要素がある場合、各種類の選択要素に対して前記選択ＵＩを生成することを特徴とする請求項８に記載の通信装置。
10. 前記選択要素は、チェックボックス、コマンドボタン、コマンドリンク、コンボボックス、グループボックス、リストボックス、リストビュー、ラジオボタン、スライダ、及びスピンコントロールのうちの少なくとも１つを含むことを特徴とする請求項１に記載の通信装置。
11. 前記第２の表示形式は、前記第１の表示形式よりも前記通信装置の前記表示手段での視認性が高いことを特徴とする請求項１に記載の通信装置。
12. クラウドブラウザとして機能する画像生成システムと通信可能な通信装置の制御方法であって、
    前記クラウドブラウザを用いて表示中のＷｅｂページにおける選択要素に関連する選択要素関連情報を前記画像生成システムから受信する受信工程と、
    前記選択要素関連情報に基づいて、前記選択要素を、前記Ｗｅｂページでの第１の表示形式から前記第１の表示形式とは異なる第２の表示形式に変換して表示するための選択ＵＩを生成する生成工程と、
    前記選択ＵＩを前記通信装置の表示手段に表示させる制御工程と、
    を有することを特徴とする通信装置の制御方法。
13. クラウドブラウザとして機能する画像生成システムであって、
    前記クラウドブラウザを用いて表示中のＷｅｂページにおける選択要素に関連する選択要素関連情報を取得する取得手段と、
    前記取得手段により取得された前記選択要素関連情報を通信装置へ送信する送信手段と、
    を備えることを特徴とする画像生成システム。
14. クラウドブラウザとして機能する画像生成システムの制御方法であって、
    前記クラウドブラウザを用いて表示中のＷｅｂページにおける選択要素に関連する選択要素関連情報を取得する取得工程と、
    前記取得工程により取得された前記選択要素関連情報を通信装置へ送信する送信工程と、
    を有することを特徴とする画像生成システムの制御方法。
15. コンピュータを、請求項１乃至１１の何れか１項に記載の通信装置として機能させるためのプログラム。
16. コンピュータを、請求項１３に記載の画像生成システムとして機能させるためのプログラム。

Images