以下、本発明の実施の形態について、図面を参照して詳細に説明する。
(実施の形態)
図1は、本発明の実施の形態に係る通信システム100を示す図である。
通信システム100は、ウェブサーバ101、ネットワーク102、端末装置103及び外部表示装置104から主に構成される。端末装置103は、ウェブサーバ101にアクセスしてウェブ画面表示用情報を取得してウェブ画面を表示する。外部表示装置104は、端末装置103がウェブサーバ101から取得したウェブ画面表示用情報のウェブ画面の一部又は全部の画面情報を端末装置103から受信して、受信した画面情報を表示する。本構成において、ネットワーク102が有線であるか無線であるかは問題でなく、ある区間は有線、ある区間は無線というように実装されるのが一般的である。また、端末装置103と外部表示装置104との物理的な位置関係は、例えば同じ部屋の中などの極めて近い距離が想定される。また、端末装置103と外部表示装置104をつなぐネットワーク102は必ずしもPAN(Personal Area Network)である必要はなく、無線LANなどであっても良い。
次に、端末装置103の構成について、図2を用いて説明する。図2は、端末装置103の構成を示すブロック図である。端末装置103は、入力部201、外部出力モード管理部202、情報取得部203、情報解析部204、記憶部205、データ処理部211、イメージバッファ212、表示部213、通信部214、データ取得部215及び画面生成部250から主に構成される。
画面生成部250は、画面制御部206、パラメータ変更部207、プラグイン呼出部208、ウェブ画面生成・記憶部209及び出力画面生成部210を含む。
入力部201は、ユーザからの入力デバイスである。具体的には、入力部201は、端末装置103から外部表示装置104へデータを出力する指示を、ユーザから受けることにより、受け取った指示を入力情報として外部出力モード管理部202へ出力する。また、入力部201は、ウェブサーバ101からウェブ画面表示用情報を取得する指示を、ユーザから受けることにより、受け取った指示を入力情報として情報取得部203へ出力する。また、入力部201は、ウェブ画面の一部のみを拡大表示する指示またはウェブ画面全体を拡大表示する指示を、ユーザから受けることにより、受け取った指示を入力情報として外部出力モード管理部202へ出力する。また、入力部201は、リンク先情報を選択する指示を、ユーザから受けることにより、受け取った指示を情報取得部203へ出力する。
外部出力モード管理部202は、入力部201から入力した入力情報による指示を受けた際に、外部表示装置104へデータを出力するモードである外部出力モードを設定する。また、外部出力モード管理部202は、入力部201から入力情報により指示を受けるまでは、外部表示装置104へデータを出力しないモードである通常出力モードを設定する。そして、外部出力モード管理部202は、設定したモードに応じて、データの出力を管理する。また、外部出力モード管理部202は、ウェブ画面の一部のみを拡大表示する指示またはウェブ画面全体を拡大表示する指示の入力情報が入力部201から入力した際に、入力した入力情報を保持する。
ウェブ画面表示用情報取得手段としての情報取得部203は、入力部201から入力した入力情報による指示を受けて、ウェブサーバ101からウェブ画面表示用情報を取得する。また、情報取得部203は、リンク先情報を選択する入力情報が入力部201から入力した際に、記憶部205に記憶されているウェブ画面表示用情報の中から、リンク先であるURLを選択する。そして、情報取得部203は、選択したリンク先のウェブ画面表示用情報をウェブサーバ101から取得する。また、情報取得部203は、取得したウェブ画面表示用情報を情報解析部204へ出力する。
情報解析部204は、情報取得部203から入力したウェブ画面表示用情報をパーズしてパーズ情報を生成する。そして、情報解析部204は、生成したパーズ情報をパラメータ変更部207へ出力する。また、情報解析部204は、外部出力モード管理部202に問い合わせを行い、外部出力モードまたは通常出力モードに応じて、記憶部205の所定の記憶領域にパーズ情報を記憶する。ここで、ウェブ画面表示用情報は、ウェブ画面の画面サイズを示すパラメータを含むオブジェクトにより構成され、例えばHTMLまたはXHTMLである。また、パーズとは、取得したウェブ画面表示用情報を構成する複数のオブジェクトをオブジェクト毎に切り出す処理を意味する。また、パーズ情報とは、ウェブ画面表示用情報から切り出したオブジェクト毎の情報である。
記憶部205は、情報解析部204から入力したウェブ画面表示用情報を記憶する。
画面制御部206は、パラメータ変更部207からパーズ情報を受け取った旨の通知を受けた際に、外部出力モード管理部202に対して、設定されているモードの問い合わせを行う。また、画面制御部206は、問い合わせた結果、外部出力モードが設定されている場合には、パラメータ変更部207に対して、外部表示装置104に表示するために、ウェブ画面の画面サイズを示すパラメータの変更を指示するとともに、イメージバッファ212に書き込まれるデータを通信部214へ出力するように制御する。また、画面制御部206は、問い合わせた結果、通常出力モードが設定されている場合には、パラメータ変更部207に対して、パラメータの変更を指示せずに、イメージバッファ212に書き込まれるデータを表示部213へ出力するように制御する。また、画面制御部206は、ウェブ画面の一部のみを拡大表示する指示を受けたのか、またはウェブ画面全体を拡大表示する指示を受けたのかを外部出力モード管理部202に問い合わせる。また、画面制御部206は、指示に応じて、画面情報をイメージバッファ212から出力させるか、または画面情報とウェブ画面データとの合成データをイメージバッファ212から出力させる。
パラメータ変更部207は、画面制御部206の指示により、情報解析部204から入力したパーズ情報に画面生成部250では処理できない形式の情報が含まれているか否かを検出し、合わせて情報解析部204から入力したパーズ情報中の動画オブジェクトの有無を検出する。また、パラメータ変更部207は、情報解析部204から入力したパーズ情報中に、画面生成部250では処理できない形式の情報及び動画オブジェクトが含まれる場合には、動画オブジェクトに含まれているパラメータを、動画オブジェクトを外部表示装置104の表示画面に全面拡大表示するためのパラメータに変更する。そして、パラメータ変更部207は、変更後のパラメータが含まれる動画オブジェクトをプラグイン呼出部208へ出力し、イメージバッファ212の書き込み領域を画面制御部206及びプラグイン呼出部208へ出力する。また、パラメータ変更部207は、情報解析部204から入力したパーズ情報に画面生成部250では処理できない形式の情報が含まれているか否か、及び動画オブジェクトの有無に関わらず、情報解析部204から入力したパーズ情報をウェブ画面生成・記憶部209へ出力する。
プラグイン呼出部208は、パラメータ変更部207から受け取った、変更されたパラメータを含む動画オブジェクト及びイメージバッファ212の書込み領域をデータ処理部211へ出力することにより、データ処理部211を起動させる。
ウェブ画面生成・記憶部209は、パラメータ変更部207から入力したウェブ画面表示用情報の中で、画面生成部250で処理できるウェブ画面表示用情報に従ってウェブ画面データを生成して保持する。
出力画面生成部210は、ウェブ画面生成・記憶部209に保持されたウェブ画面データから表示部213に表示する領域を切り出してイメージバッファ212に書き込む。
データ処理部211は、プラグイン呼出部208から、変更されたパラメータを含む動画オブジェクトを取得する際に起動する。また、データ処理部211は、起動後、必要に応じて、データ取得部215に対して、ウェブサーバ101からのデータの取得を依頼する。また、データ処理部211は、プラグイン呼出部208から取得した動画オブジェクトに対する復号処理を行うとともに、必要に応じてデータ取得部215から取得したデータに対して復号処理を行って画面情報を生成する。この際に生成される画面情報は、変更されたパラメータによって特定される画面サイズの画面情報である。そして、データ処理部211は、生成した画面情報を、プラグイン呼出部208から取得したイメージバッファ212の書き込み領域に書き込む。
イメージバッファ212は、出力画面生成部210から入力したウェブ画面データ及びデータ処理部211から入力した画面情報を所定の領域に書き込む。また、イメージバッファ212は、画面制御部206の制御に従って、ウェブ画面データ、画面情報、または、ウェブ画面データと画面情報とを合成した合成データを表示部213または通信部214へ出力する。
表示部213は、外部表示装置104の表示面よりも小さい表示領域の表示面を有し、イメージバッファ212に書き込まれたウェブ画面データの画像、画面情報の画像、またはウェブ画面データと画面情報とを合成した合成データの画像を表示する。
通信部214は、イメージバッファ212に書き込まれたウェブ画面データ、画面情報、またはウェブ画面データと画面情報とを合成した合成データを外部表示装置104へ出力する。
データ取得部215は、データ処理部211からの依頼を受けて、ウェブサーバ101からデータを取得し、取得したデータをデータ処理部211へ出力する。なお、図2では、データ取得部215は、情報取得部203と分離した構成となっているが、実装においては、情報取得部203の中にあっても良い。
次に、通信システム100におけるデータ処理方法について、図1及び図2を用いて説明する。
ユーザは、通常、端末装置103を利用しており、ウェブサーバ101から取得した情報は端末装置103の表示部213に表示される。端末装置103がネットワーク102に接続し、ウェブサーバ101にアクセスできる限り、ユーザの位置にかかわらず、ユーザはウェブ画面を閲覧することができる。ユーザが移動することにより外部表示装置104が利用できる状況になると、ユーザが指定したウェブ画面の全部または一部を外部表示装置104に拡大表示して見ることができるようになる。このとき、例えば、端末装置103の表示部213には元のウェブ画面が表示されるとともに、外部表示装置104には表示部213に表示されるウェブ画面の一部を拡大表示した画面が表示され、両方のディスプレイに異なる情報が表示されることになる。
次に、端末装置103が動画共有サービスにアクセスした場合の端末装置103の動作について説明する。ここで、動画共有サービスとは、第三者があらかじめサーバにアップロードしてサーバに蓄積されたデータを、サーバにアクセスしたユーザが自由に選択してストリーミングで視聴することができるサービスである。
端末装置103の入力部201は、ウェブサーバ101からウェブ画面表示用情報を取得する指示をユーザから受けることにより、受け取った指示を入力情報として情報取得部203へ出力する。
情報取得部203は、入力情報による指示を受けて、ウェブサーバ101からウェブ画面表示用情報を取得する。
情報解析部204は、情報取得部203から入力したウェブ画面表示用情報をパーズしてパーズ情報を生成する。
この後の端末装置103の動作については、図3を用いて説明する。図3は、端末装置103が動画共有サービスにアクセスした場合の端末装置103の動作を示すフロー図である。
パラメータ変更部207は、情報解析部204からパーズ情報を取得すると(ステップST301)、画面制御部206は、外部出力モード管理部202に出力モードの問い合わせを行う(ステップST302)。
問い合わせの結果、外部出力モード管理部202において、外部出力モードが設定されている場合(ステップST302:「外部出力モード」)に、画面制御部206は、パラメータ変更部207に対して、パラメータ変更処理通知を出力することにより、パラメータ変更処理を指示する(ステップST303)。
次に、パラメータ変更部207は、パーズ情報の中に画面生成部250では処理ができない形式の情報が含まれているか否か、即ちデータ処理部211でのデータ処理が必要であるか否かを判定する(ステップST304)。
データ処理が必要な場合(ステップST304:Yes)には、パラメータ変更部207は、パーズ情報中の動画オブジェクトの有無を判定する(ステップST305)。
動画オブジェクトが含まれる場合(ステップST305:Yes)には、パラメータ変更部207は、動画オブジェクトに含まれているパラメータを、外部表示装置104の表示部に動画を全画面拡大表示可能なパラメータに変更する(ステップST306)。
次に、パラメータ変更部207は、変更後のパラメータが含まれる動画オブジェクト及びイメージバッファ212の書き込み領域をプラグイン呼出部208へ出力する。この場合、イメージバッファ212の書込み領域とは、外部表示装置の表示領域の全領域となる。
プラグイン呼出部208は、パラメータ変更部207から取得した、変更されたパラメータを含む動画オブジェクト及びイメージバッファの書込み領域をデータ処理部211に通知して、データ処理部211を起動する(ステップST307)。この場合、画面生成部250では、ウェブ画面は生成されない。そして、データ処理部211は、プラグイン呼出部208から取得した動画オブジェクトに対する復号処理を行って画面情報を生成する。
また、データ処理部211は、生成した画面情報をイメージバッファ212に書き込んでステップST309に処理を進める。
一方、ステップST305において、パーズ情報中に動画オブジェクトが存在しない場合(ステップST305:No)には、パラメータ変更部207は、パラメータを含む動画オブジェクト以外のオブジェクト及びイメージバッファ212の書込み領域をプラグイン呼出部208に出力する。プラグイン呼出部208は、データ処理部211に対して、パラメータを含むオブジェクト及びイメージバッファ212の書込み領域を通知して、データ処理部211を起動する(ステップST308)。そして、データ処理部211は、データ取得部215を介してウェブサーバ101から動画データを取得し、取得した動画データに対する復号処理を行って画面情報を生成し、生成した画面情報をイメージバッファ212に書き込んでステップST309に処理を進める。
また、ステップST304において、データ処理が不要な場合(ステップST304:No)、ステップST309に処理を進める。
ウェブ画面生成・記憶部209は、ウェブ画面を生成して保持する(ステップST309)。
次に、出力画面生成部210は、ウェブ画面生成・記憶部209に保持されたウェブ画面から表示部213に表示される領域を切り出して抽出し(ステップST310)、イメージバッファ212に書き込む。この際、イメージバッファ212の領域とは、データ処理部211が書込むために割当てた領域を除いた領域となる。
イメージバッファ212は、データ処理部211で生成された画面情報が書き込まれている場合には、書き込まれた画面情報、または書き込まれた画面情報と書き込まれたウェブ画面とを合成した合成データを通信部214に出力し、通信部214は画面情報または合成データを外部表示装置104に出力する(ステップST311)。また、イメージバッファ212は、データ処理部211で生成された画面情報が書き込まれていない場合には、書き込まれたウェブ画面を通信部214に出力し、通信部214はウェブ画面を外部表示装置104に出力する(ステップST311)。
以上のような画面生成部250の動作により、端末装置103が動画共有サービスにアクセスした場合に、動画オブジェクト等の特定のオブジェクトのみが抽出されて、拡大されて外部表示装置104に表示されるようになる。
一方、ステップST302において、問い合わせの結果、外部出力モード管理部202において、通常出力モードが設定されている場合(ステップST302:「通常出力モード」)に、パラメータ変更部207は、パーズ情報の中に画面生成部250では処理ができない形式の情報が含まれているか否か、即ちデータ処理部211でのデータ処理が必要であるか否かを判定する(ステップST312)。
データ処理が必要な場合(ステップST312:Yes)には、パラメータ変更部207は、パラメータを変更せずに、パラメータを含むオブジェクト及びイメージバッファ212の書込み領域をプラグイン呼出部208に出力する。プラグイン呼出部208は、パラメータを含むオブジェクト及びイメージバッファ212の書込み領域をデータ処理部211に通知して、データ処理部211を起動する(ステップST313)。そして、データ処理部211は、プラグイン呼出部208から取得したオブジェクトに対する復号処理を行って画面情報を生成し、生成した画面情報をイメージバッファ212に書き込んでステップST314に処理を進める。また、プラグイン呼出部208から取得したオブジェクトに動画オブジェクトが含まれていない場合には、データ処理部211は、データ取得部215を介してウェブサーバ101から動画データを取得する。
一方、ステップST312において、データ処理が不要な場合(ステップST312:No)には、ステップST314に処理を進める。
次に、ウェブ画面生成・記憶部209は、パーズ情報中で、画面生成部250で処理できる情報を用いてウェブ画面を生成して保持する(ステップST314)。
次に、出力画面生成部210は、ウェブ画面生成・記憶部209に保持されたウェブ画面から表示部213に表示される領域を切り出し、イメージバッファ212に書き込む(ステップST315)。
次に、イメージバッファ212は、データ処理部211で生成された画面情報が書き込まれている場合には、書き込まれた画面情報、または書き込まれた画面情報と書き込まれたウェブ画面とを合成した合成データを表示部213に出力する(ステップST316)。また、イメージバッファ212は、データ処理部211で生成された画面情報が書き込まれていない場合には、書き込まれたウェブ画面を表示部213に出力する(ステップST316)。
以上で、図3の説明を終了する。
図4は、動画を含むウェブページのデータの抜粋を示す図であり、W3Cで標準化されたHTMLまたはXHTMLに準拠するものである。即ち、図4は、ウェブ画面表示用情報の一部を示すものである。
図4において、タグ401はOBJECTタグである。コンテンツのクラスIDをCLASSID属性で指定する。クラスIDとは、アプリケーションを一意に区別するIDである。WIDTH属性、HEIGHT属性は、それぞれ表示領域の横と縦の長さを指定する。タグ402は、出力する動画ファイルのアドレスを指定する。タグ403及びタグ404は、再生方法のパラメータである。そして、タグ405はEMBEDタグである。EMBEDタグとは、オブジェクトをウェブページに張り付けることを指定するためのタグであり、オブジェクトの表示方法について規定する。SRC属性で出力する動画ファイルの名称、WIDTH属性とHEIGHT属性で表示領域の横と縦の長さ、LOOP属性とQUALITY属性で再生方法、TYPE属性でMIMEタイプを指定する。MIMEタイプとは、コンテンツの種類や符号化形式などを規定するものである。図4では、MPEG形式の動画の場合を示しているが、他の動画形式であってもよい。タグ406とタグ407は、それぞれEMBEDの記述の終了を示すタグと、OBJECTの記述の終了を示すタグである。図4に示すように、タグ401とタグ407によりオブジェクトが構成される。なお、図4では、1つのオブジェクトのみを示したが、実際には、ウェブ画面表示用情報は、複数のオブジェクトから構成される。
パラメータ変更部207は、上記クラスIDとMIMEタイプを予め記憶しており、タグ401のOBJECTタグ内のCLASSID属性から画面生成部250では処理ができない形式の情報が含まれているか否かを判断する。さらに、パラメータ変更部207は、予め記憶した動画のクラスIDとMIMEタイプを比較し、一致するクラスIDまたはMIMEタイプがあれば、取得したウェブページに動画が含まれると判定する。MIMEタイプではvideo/mpegのようなvideoタイプ、applicationタイプの一部が動画にあたる。
図5は、図4に示した動画を含むウェブページを外部表示装置104の表示部に全画面表示するために、パラメータ変更部207がパラメータを変更した後のデータを示す図である。
具体的には、パラメータ変更部207は、EMBEDタグであるタグ405をタグ501に変更するものであり、EMBEDタグのWIDTH属性、HEIGHT属性に、それぞれ外部表示装置104の表示領域の横と縦の長さを指定する。外部表示装置104の表示領域については、端末装置103と外部表示装置104との通信が可能になった際、画面生成部250は、通信部214を介して外部表示装置104と通信を行い、予め内部に保持している。
パラメータ変更部207からデータ処理部211に渡すパラメータの記載方法は、ブラウザの実装によって異なるが、本実施の形態のプラグイン呼出部208は、EMBEDタグの内容に基づいて、データ処理部211を起動するものであるので、EMBEDタグのWIDTH属性とHEIGHT属性のみを変更すれば良い。
図6(a)は、表示部213に表示されるウェブ画面610を示す図であり、一般的な動画共有サービスにアクセスした場合に提供されるウェブ画面610を示している。また、図6(b)は、外部表示装置104に表示される画面を示す図である。
図6(a)より、エリア601は、ウェブ画面610の一部の画面であり、動画の画面エリアである。また、エリア601は、データ処理部211にて復号処理等のデータ処理により動画の再生を行うエリアである。エリア602は、テキストエリアであり、エリア601で再生される動画の説明や、エリア601で再生される動画を視聴した他のユーザからのコメントなどが記載される。また、エリア603は、エリア601で再生される動画に関連する他のお勧めの動画表示エリアである。ユーザは、エリア603にお勧め動画のリストが表示されることにより、無数に存在する動画の中から好みの動画を容易に選択できる。
また、図6(b)に示すように、外部表示装置104は、端末装置103の表示部213に表示されるウェブ画面の一部であるエリア601に表示される動画を拡大して表示する。
ユーザは、エリア601の動画を外部表示装置104に拡大表示して再生することにより、大画面で再生される動画を見ながら、エリア603に表示される、外部表示装置104で再生する動画の説明や、外部表示装置104で再生する動画を視聴した他のユーザからのコメントなどを同時に読むことができる。また、ユーザは、外部表示装置104の大画面で再生される動画を見ながら、次に再生したい動画をエリア603から選択することができる。エリア603のお勧め動画のリストには、動画コンテンツへのリンク情報が埋め込まれている。すなわち、ユーザが次に視聴したいリストをクリックして選択することにより、エリア601は書き換えられて、選択した動画コンテンツがエリア601で再生される。
エリア603のお勧め動画のリストを外部表示装置104において再生するためには、リストの選択の際に外部出力モードであることを端末装置103に認識させるための仕組みが必要である。すなわち、後述するように、通常モードと外部出力モードとで、ウェブ画面中のリンク情報のリンク先の選択の方法を変えることにより、端末装置103は、通常モードと外部出力モードを区別することができる。
なお、図6(a)及び図6(b)に示したものは、一例であり、このほかにもブログの記事を読みながら、気になった写真を外部表示装置104に拡大表示することなども使い方として考えられる。
次に、ウェブ画面中のリンク情報のリンク先の画面を表示する際の端末装置103の動作について、図7のフロー図を用いて説明する。図7は、ウェブ画面中のリンク情報のリンク先の画面を表示する際の端末装置103の動作を示すフロー図である。
端末装置103の表示部213にウェブ画面を表示している状態が初期状態である(スタート)。
最初に、端末装置103は、表示部213に表示されているウェブ画面中のリンク情報が選択されることにより、ウェブサーバ101から新たなウェブ画面表示用情報を取得し、表示部213の画面表示を次のウェブ画面へと書き換えることができる。ユーザは、リンク情報を選択するに際して、選択するリンク情報に相当する新たなウェブ画面表示用情報を端末装置103の表示部213を書き換えて表示するか、または外部表示装置104に拡大して表示するかを選択することができる。
端末装置103の入力部201は、外部から入力情報を受け付けて、受け付けた入力情報を外部出力モード管理部202に通知する。
入力情報を受け取った外部出力モード管理部202は、入力情報を用いて、外部表示装置104へ出力するモードである外部出力モードが選択されたか否かを判定する(ステップST701)。
外部出力モードが選択されたと判定した場合(ステップST701:Yes)には、外部出力モード管理部202は、外部出力モードを設定する(ステップST702)。
また、ステップST701において、外部出力モードが選択されない場合(ステップST701:No)には、端末装置103は、ステップST703に処理を進める。
次に、入力部201は、表示部213に表示される初期状態のウェブ画面中のリンク情報を選択する外部からの入力を受け取った際に(ステップST703)、入力情報を情報取得部203に出力する。端末装置103の情報取得部203は、記憶部205に記憶(キャッシュ)されているHTML等のウェブ画面表示用情報の中から、入力情報のURLを取得し、取得したURLに基づきウェブサーバ101から新たなウェブ画面表示用情報を取得する(ステップST704)。
次に、情報取得部203は、取得したウェブ画面表示用情報を情報解析部204に出力し、情報解析部204は、受け取ったウェブ画面表示用情報を解析してパーズしてパラメータ変更部207へ出力する(ステップST705)。この際、情報解析部204は、外部出力モード管理部202に問い合わせを行い、問い合わせた結果が外部出力モードである場合には、記憶部205において、初期状態のウェブ画面の記憶領域とは別に新しい記憶領域を確保して、パーズ情報を記憶部205の確保した新しい記憶領域に書き込む。画面制御部206は、外部出力モード管理部202に問い合わせを行い、外部出力モードに設定されているか否かの判断を行う(ステップST706)。
外部出力モードに設定されている場合(ステップST706:Yes)には、ウェブ画面生成・記憶部209は、情報解析部204でパーズされたパーズ情報に基づき、外部表示装置104に表示するウェブ画面を生成し、イメージバッファ212に書き込む。この際、書き込まれるイメージバッファ212の領域とは、初期状態である端末装置103の表示部213に表示されるウェブ画面のためのイメージバッファ212の領域とは全く異なるものであり、端末装置103の表示部213に表示されているウェブ画面は影響を受けない。パラメータ変更部207は、パーズされた情報の中に、画面生成部250では処理できない形式の情報が含まれているか否か、即ちデータ処理部211でのデータ処理が必要であるか否かを判定する(ステップST707)。
データ処理部211でのデータ処理が必要であると判定した場合(ステップST707:Yes)には、パラメータ変更部207は、外部表示装置104の表示画面に応じたパラメータの変更を行う(ステップST708)。
次に、プラグイン呼出部208は、データ処理部211を起動させて(ステップST709)、イメージバッファ212の書込み領域と、変更されたパラメータを含むデータ処理に必要な各種パラメータをデータ処理部211に通知する。
また、データ処理部211は、必要に応じて、データ取得部215を介してウェブサーバ101から動画データを取得し、取得した動画データに対して復号処理を行って動画の再生を開始する(ステップST710)。また、データ処理部211は、イメージバッファ212の指定された領域に画面情報を書き込む。
また、イメージバッファ212は、データ処理部211から書き込まれた画面情報、または出力画面生成部210から書き込まれたウェブ画面データとデータ処理部211から書き込まれた画面情報とを合成した合成データを通信部214に出力する。そして、通信部214は、画面情報または合成データを外部表示装置104に出力することにより、外部表示装置104に画面表示を行う(ステップST711)。
また、ステップST707において、データ処理部211でのデータ処理が不要であると判定した場合(ステップST707:No)には、出力画面生成部210は、ウェブ画面生成・記憶部209で生成したウェブ画面を切り出してイメージバッファ212の指定された領域に書き込む。そして、イメージバッファ212は、書き込まれたウェブ画面を通信部214に出力し、通信部214は、外部表示装置104にウェブ画面を出力することにより、外部表示装置104は画面表示を行う(ステップST711)。
一方、ステップST706において、外部出力モードでない場合(ステップST706:No)には、パラメータ変更部207は、パーズされたパーズ情報の中に、画面生成部250では処理できない形式の情報が含まれているか否か、即ちデータ処理部211でのデータ処理が必要であるか否かを判定する(ステップST712)。
データ処理部211でのデータ処理が必要であると判定した場合(ステップST712:Yes)には、プラグイン呼出部208は、データ処理部211を起動させて(ステップST713)、イメージバッファ212の書込み領域と、データ処理に必要な各種パラメータを変更せずにデータ処理部211に通知する。
また、データ処理部211は、必要に応じて、データ取得部215を介してウェブサーバ101から動画データを取得し、取得した動画データに対して復号処理を行って動画の再生を開始する(ステップST714)。また、データ処理部211は、イメージバッファ212の指定された領域に生成した画面情報を書き込む。
次に、イメージバッファ212は、データ処理部211から書き込まれた画面情報、または、出力画面生成部210から書き込まれたウェブ画面とデータ処理部211から書き込まれた画面情報とを合成した合成データを表示部213に出力することにより、表示部213に画面表示を行う(ステップST715)。
また、ステップST712において、データ処理部211でのデータ処理が不要であると判定した場合(ステップST712:No)には、出力画面生成部210は、ウェブ画面生成・記憶部209で生成したウェブ画面を切り出してイメージバッファ212の指定された領域に書き込む。そして、イメージバッファ212は、書き込まれたウェブ画面を表示部213に出力することにより、表示部213に画面表示を行う(ステップST715)。
以上のような動作により、表示部213に表示されたウェブ画面中のリンク情報を選択することにより、ウェブサーバ101から新たなウェブ画面表示用情報を取得し、次のウェブ画面へと画面表示を書き換える際に、ユーザは、ウェブ画面を端末装置103の表示部213を書き換えて表示するか、または外部表示装置104に拡大して表示するかを選択することができる。そして、新しいウェブ画面を外部表示装置104に拡大して表示する場合に、端末装置103の表示部213に表示されているウェブ画面は一切影響を受けずに保持される。
因みに、本実施の形態においては、ウェブ画面中からリンク情報を選択した場合についてリンク先のウェブ画面が外部表示装置104に表示される場合について説明したが、この際、リンク先が図6(a)に示す一般的な動画共有サービスで提供されるウェブ画面である場合には、外部表示装置104に表示される画面は、図6(a)ではなくて図6(b)であることが望ましい。
以上で、ウェブ画面中のリンク情報のリンク先の画面を表示する際の端末装置103の動作の説明(図7の説明)を終了する。
次に、端末装置103の入力部201の構成について、図8及び図9を用いて説明する。図8及び図9は、端末装置103の構成を示す図である。
端末装置103は、筐体801と、筐体801の表面に露出する表示部802と、筐体801に筐体801から突出して設けられる入力部803から構成される。ここで、表示部802は、図2の表示部213に対応し、入力部803は、図2の入力部201に対応する。
入力部803は、ディスプレイ出力モード選択ボタンとして機能し、ユーザは入力部803を介してウェブ画面の出力の切り替えを行う。まず、通常のウェブ画面操作を行いたいときは、ユーザは特別な操作をする必要はなく、従来通りの使い方をすれば良い。一方、端末装置103から外部表示装置104へのウェブ画面の出力を行いたい場合は、ユーザは、左手の人差し指で入力部803を押す等により入力部803の操作をしながら、右手を用いて表示部802に表示されるウェブ画面のリンク情報804の何れか一つをクリックして選択する。これにより、端末装置103は、図7で説明した処理を行って、ウェブ画面出力を表示部213から外部表示装置104に切り替える。
また、ユーザは、左手の人指し指で入力部803を押す等により入力部803の操作をしてウェブ画面出力を表示部213から外部表示装置104に切り替えた後に、右手を用いて表示部802に表示されるウェブ画面のリンク情報804の何れか一つをクリックして選択するようにしても良い。これにより、端末装置103は、図7で説明した処理を行って、ウェブ画面出力を表示部213から外部表示装置104に切り替える。なお、図8における筐体801に対する入力部803の配置は例示であり、必ずしもこれに限定されるものではない。
また、上記説明した操作は例示であり、本発明を実施する上で、通常操作と外部表示装置出力操作とが区別できる限り、これに限定されるものではない。以下に、考えられるウェブ画面のディスプレイ出力の使い分け操作について、その他の具体例を示す。
一つ目の例は、ユーザの操作が上記とは少し異なるものである。すなわち、ディスプレイ出力モード選択ボタンである入力部はトグル状に、通常出力モードと、外部表示装置出力モードとが切り替わるようになっており、リンク情報が選択される際の出力モードに応じて、外部表示装置104に対するウェブ画面出力が行われる。現在設定されている出力モードは、ディスプレイやLEDなどでユーザに通知される。このようにすることで、外部表示装置104への出力を多用する場合には、入力部のボタンを押す手間が省け、ユーザメリットがある。
二つ目の例は、ディスプレイ出力モード選択ボタンとして機能する入力部をソフトウェアで実装したものであり、図9に示すように、表示部802の端部に入力部901が設けられる。入力部901の操作の仕方は、図8と同様である。また、本例の別な形態としては、入力部901が半透明であり、表示部802の画面領域の占有を回避するものである。
三つ目の例は、入力部がタッチパネルの場合に、リンク情報を選択することにより、外部表示装置104への出力ボタンとして機能する入力部が画面上に表示されるものであり、表示された入力部を押すことにより、外部表示装置104に対するウェブ画面出力が行われる。
入力部がタッチパネルである場合の基本的な動作として、まず、タッチしたというイベントを入力部は取得するが、この時点では、端末装置103は、リンク情報が選択されたとみなさない。タッチした指をタッチパネルから離した場合に、入力部が、タッチしたというイベントに続いて、離れたというイベントを取得し、これにより初めて端末装置103はリンク情報が選択されたものとして処理を行う。
上記の三つ目の例ついて、端末装置の動作を、図10を用いて説明する。図10は、入力部が操作された際の端末装置の動作を示すフロー図である。なお、画面イメージとして、図9を用いて説明する。
最初に、ユーザが表示部802に表示されるウェブ画面中のいずれかのリンク情報にタッチすると(ステップST1001)、ディスプレイ出力モード選択ボタンとして機能する入力部901が表示部802に表示される(ステップST1002)。
なお、図9における入力部901の配置は例示であり、必ずしもこれに限定されるものではない。例えば、ユーザがタッチしたリンク情報の近傍に入力部901を表示するようにしても良い。
表示された入力部901を押さずに(ステップST1003:No)、指を表示部802から離すと(ステップST1004)、リンク先のウェブ画面は端末装置800の表示部802に表示される(ステップST1005)。このとき、入力部901は、表示部802から消滅する(ステップST1006)。
一方、入力部901を押して(ステップST1003:Yes)、指を表示部802から離すと(ステップST1007)、リンク先のウェブ画面は外部表示装置104に表示される(ステップST1008)。この場合も同様に、この後、入力部901は、表示部802から消滅する(ステップST1006)。
四つ目の例は、入力部がタッチパネルの場合に、リンク情報を選択することにより、外部表示装置104への出力アイコンである入力部が表示部に表示されるものであり、表示された入力部にタッチしたリンク情報をドラッグ&ドロップすることより、外部表示装置104への出力がなされる。ここで、ドラッグ&ドロップとは、タッチした指を表示部から離すことなく対象オブジェクト(この場合は、入力部)まで滑らせ、対象オブジェクト上で指を表示部から離す操作のことである。三つ目の例と比較すると、リンク情報の選択から外部表示装置104への出力操作までを、リンク情報を選択した1本の指だけを用いて完結することができるというメリットがある。なお、ドラッグ&ドロップをすることなく、指を表示部から離した場合には、端末装置103の表示部213への出力となる。
このように、本実施の形態によれば、オブジェクト単位でウェブ画面を外部表示装置に拡大表示させることが可能であり、ユーザの利便性を格段に向上させることができる。また、本実施の形態によれば、ウェブ画面を構成するオブジェクト単位で外部表示装置へ表示させることにより、ウェブ画面の一部を外部表示装置に表示させる等の使い勝手を向上させることができる。また、本実施の形態によれば、端末装置でウェブ画面を操作しているユーザが、通常のウェブ画面の操作を望む場合と、外部表示装置へのウェブ画面の表示を望む場合に、容易に使い分けることができるユーザインターフェイスを提供することができる。また、本実施の形態によれば、動画共有サイトの動画や、ブログ内で参照されている動画を外部表示装置に全画面で再生表示することにより、端末装置の通常のウェブ画面の操作を基本としつつ、外部表示装置が近隣に置かれた状態では、端末装置に表示しているウェブ画面の中の静止画・動画やリンク先情報を簡単な操作で外部表示装置に出力することを可能にすることができる。また、本実施の形態によれば、パーズ情報中から動画オブジェクトのみを抽出し、外部表示装置に表示するようにすることにより、動画オブジェクトのみを拡大して外部表示装置に表示することができる。また、この際、端末装置の表示部に表示されているウェブ画面は一切影響を受けずに保持されるので、ユーザは、ウェブ画面のテキスト情報などを読みながら大画面で高精細な動画を見ることができる。
なお、本実施の形態において、動画オブジェクトに付与されるパラメータを変更したが、本発明はこれに限らず、動画オブジェクト以外の任意のオブジェクトに付与されるパラメータを変更することができる。
次に、本実施の形態の別な態様について説明する。
本実施の形態では、端末装置103で汎用的なブラウザが動作している場合について説明したが、本発明は、特定のウェブサーバまたは特定のウェブサービスにのみアクセスすることを目的としたネットワークアプリケーションを動作させる場合にも適用可能である。
ここで、ネットワークアプリケーションとは、汎用的なブラウザのサブセットに相当し、予め定められた特定のウェブサイトにアクセスすることを前提としたアプリケーションのことである。一般的には、ウィジェットやガジェットと呼ばれることもある。通常の汎用的なブラウザは、起動した後に、アクセスしたいウェブサイトのURLを入力するか、もしくはリンクを選択する必要がある。一方、ネットワークアプリケーションは、アプリケーションを起動した直後に、特定のウェブサイトにアクセスした状態が得られるので、ユーザの手間が少ないという利点がある。また、ネットワークアプリケーションには、特定のウェブサイトを利用するのに最適なユーザインターフェイスが用意されているので、操作がし易いという利点もある。
動画共有サービスを利用するためのネットワークアプリケーションとしては、YouTubeプレーヤなどが知られている。YouTubeプレーヤは、動画共有サービスの一つであるYouTubeのウェブサイトにアクセスし、動画コンテンツを選択して視聴するための専用アプリケーションである。
本実施の形態の別な態様は、上記説明したようなネットワークアプリケーションが動作することにより、端末装置103の表示部213に表示される動画を外部表示装置104にて全画面再生表示することができる。
本実施の形態の別な態様における端末装置103の構成は図2の構成と略同一である。上述したようにネットワークアプリケーションは、ブラウザのサブセットであるため、端末装置103の一部の構成は不要になり、一部の構成の機能は限定される。具体的には、情報取得部203は、特定のウェブサーバからウェブ画面表示用情報を取得するだけでよい。また、情報解析部204は、接続するウェブサイトがあらかじめ分かっているので、接続するウェブサイトのウェブ画面表示用情報のみ解析することができれば十分である。同様に、データ処理部211は、接続するウェブサイトで用いられるデータ形式だけ処理することができれば良く、プラグイン呼出部208と統合されて画面生成部250の中に配置される。
また、本実施の形態の別な態様における端末装置103の動作は、図3と同一である。
このように、本実施の形態の別な態様によれば、ネットワークアプリケーション画面を外部表示装置に拡大表示させることが可能であり、ユーザの利便性を格段に向上させることができる。また、端末装置でネットワークアプリケーション画面を操作しているユーザが、通常のアプリケーション画面の操作を望む場合と、外部表示装置へのアプリケーション画面の表示を望む場合に、容易に使い分けることができるユーザインターフェイスを提供することができる。