JP5014259B2 - 表示制御装置および表示制御方法 - Google Patents

表示制御装置および表示制御方法 Download PDF

Info

Publication number
JP5014259B2
JP5014259B2 JP2008143706A JP2008143706A JP5014259B2 JP 5014259 B2 JP5014259 B2 JP 5014259B2 JP 2008143706 A JP2008143706 A JP 2008143706A JP 2008143706 A JP2008143706 A JP 2008143706A JP 5014259 B2 JP5014259 B2 JP 5014259B2
Authority
JP
Japan
Prior art keywords
display
buffer
dynamic content
unit
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008143706A
Other languages
English (en)
Other versions
JP2009289205A5 (ja
JP2009289205A (ja
Inventor
秀教 石井
大作 小宮
健一 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2008143706A priority Critical patent/JP5014259B2/ja
Priority to PCT/JP2009/002399 priority patent/WO2009144959A1/ja
Priority to CN2009801012709A priority patent/CN101889444B/zh
Publication of JP2009289205A publication Critical patent/JP2009289205A/ja
Publication of JP2009289205A5 publication Critical patent/JP2009289205A5/ja
Priority to US12/793,789 priority patent/US8421808B2/en
Application granted granted Critical
Publication of JP5014259B2 publication Critical patent/JP5014259B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • G09G2340/145Solving problems related to the presentation of information to be displayed related to small screens
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/027Arrangements and methods specific for the display of internet documents
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/395Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen

Description

本発明は、動的コンテンツを複数の表示装置に表示させる表示制御装置および表示制御方法に関する。
近年、携帯電話機やPDA(personal digital assistants)等の持ち運び可能な小型端末(以下「ポータブル端末」という)において、インターネットからウェブ(Web)ページを取得し、取得したウェブページをブラウザで閲覧することが可能である。
ところが、ポータブル端末のディスプレイは、パーソナルコンピュータ等の据置型の端末のディスプレイに比べて、画面の面積が小さく、解像度も低い。一方、多くのウェブページが、10インチ以上の画面およびXGA(extended graphics array, 1024画素×768画素)の解像度が主流であるパーソナルコンピュータでの閲覧を想定して作成されている。したがって、ポータブル端末では、表示されるウェブページが閲覧し難いという問題がある。ポータブル端末は、通常、2インチから4インチ程度の小さい画面である。解像度をXGAとすると、画像や文字は非常に小さくなり、見難くなる。一方で、解像度を低くすると、一度に表示される文字の数が少なくなり、改行の数が増加してスクロール操作が多く必要になるだけでなく、画面のレイアウトが崩れる。特に、ウェブページに、写真、地図、動画等のマルチメディア情報といった動コンテンツが含まれる場合、動画の表示サイズはポータブル端末の画面サイズよりも更に小さくなる。
そこで、ポータブル端末が取得したウェブページを、自宅、学校、オフィス、喫茶店等の店舗に設置されたテレビジョン等、比較的大きなモニタに表示させることが考えられる。ポータブル端末以外の装置のディスプレイにウェブページを表示させるためには、ポータブル端末のディスプレイだけでなく、モニタのディスプレイにもウェブページを表示させる機能を、ポータブル端末に持たせる必要がある。複数のディスプレイにウェブページを表示させる技術は、例えば特許文献1に記載されている。
特許文献1記載の技術は、フレームバッファに格納されたウェブページの表示データを、ディスプレイごとに用意された複数のVRAM(video random access memory)のそれぞれに書き込むことにより、複数のディスプレイに同じ画面を表示する。この技術を用いることにより、ポータブル端末が取得したウェブページを、外部モニタにも表示させることが可能となる。
ところが、特許文献1記載の技術では、外部モニタにおいて、ウェブページの画面レイアウトが崩れるという問題がある。これは、上述のように、ポータブル端末のディスプレイの解像度が、据置型の端末のディスプレイの解像度よりも低いためである。
そこで、特許文献2および非特許文献1に、ディスプレイごとに個別の表示データを作成することに関する技術が記載されている。
図19は、特許文献2および非特許文献1記載の技術を適用した場合の、表示制御装置の構成を示すブロック図である。
図19に示すように、表示制御装置10は、本体表示部11に対応する本体用動画デコーダ12および本体用ブラウザ13と、外部モニタ20に対応するモニタ用動画デコーダ14およびモニタ用ブラウザ15とを有する。本体用動画デコーダ12とモニタ用動画デコーダ14は、ブラウザ用プラグイン(例えば、非特許文献1参照)として実装されている。また、表示制御装置10は、これらの本体系統および外部モニタ系統と、ウェブサーバ30との間に、データの中継を行うプロキシ部16を配置している。更に、表示制御装置10は、入力装置17およびブラウザ制御部18を配置している。プロキシ部16は、本体表示部11および外部モニタ20の情報を保持している。プロキシ部16は、ウェブサーバ30からIP(internet protocol)網40を介してウェブページのデータを取得し、各ディスプレイの情報に合わせて、それぞれのディスプレイの担当エリアのコンテンツデータに変換する。そして、プロキシ部16は、本体用ブラウザ13およびモニタ用ブラウザ15に、変換したコンテンツデータを渡す。コンテンツデータに動画データが含まれている場合には、プロキシ部16は、動画データを、本体用動画デコーダ12およびモニタ用動画デコーダ14を介して、本体用ブラウザ13およびモニタ用ブラウザ15に渡す。本体用ブラウザ13およびモニタ用ブラウザ15は、プロキシ部16から渡されるコンテンツデータに基づいて、担当エリアの表示を行う。
このように、特許文献2記載の技術を用いることにより、外部モニタにおいても、ウェブページの画面の適切なレイアウトで表示することが可能となる。
特表平10−504119号公報 特開2005−85057号公報 Mozilla Project,"Mozilla Developer Center − Plugins"、[online]、[平成20年5月26日検索]、〈URL:http://developer.mozilla.org/ja/docs/Plugins〉
ところで、動画コンテンツを表示させるためには、図19に示すように、動画コンテンツのデータの取得およびデコードを行う動画デコーダが必要となる。動画コンテンツを含むウェブページの場合、その基となるHTML(hypertext markup language)データには、動画コンテンツのデコード(復号)を行う主体を指定する情報(以下「指定情報」という)が含まれている。ブラウザは、この指定情報に基づいて、動画デコーダを起動し、動画デコーダでデコードされた動画コンテンツをウェブページに嵌め込む。
したがって、図19に示す表示制御装置は、複数のブラウザに対応する複数のデコーダを配置し、同一の動画コンテンツに対して複数のデコード処理を行わなければならない。
ところが、同一の処理を行う複数の機能部を重複して設け、同一の処理を重複して実行することは、コスト、サイズ、および処理負荷の面で好ましくない。
本発明は、かかる点に鑑みてなされたものであり、機能部の重複および処理の重複を回避して、複数の表示装置で動画コンテンツを表示することができる、表示制御装置および表示制御方法を提供することを目的とする。
本発明の表示制御装置は、動的コンテンツの復号を行い、復号した動的コンテンツを第1のバッファに格納するコンテンツ取得部と、前記第1のバッファに格納された前記動的コンテンツを、第2のバッファに転送するバッファ転送部と、前記第1のバッファに格納された前記動的コンテンツを第1の表示装置に表示させる第1の表示制御部と、前記第2のバッファに格納された前記動的コンテンツを第2の表示装置に表示させる第2の表示制御部とを備え、前記コンテンツ取得部は、動的コンテンツの復号を行う復号主体を指定する指定情報を入力する情報入力部と、動的コンテンツの復号を行う動的コンテンツ復号部と、前記指定情報が前記動的コンテンツ復号部を指定するとき、前記指定情報を、前記バッファ転送部を指定する内容に書き換える情報書換部とを有する構成を採る。
本発明の表示制御方法は、動的コンテンツの復号を行う復号主体を指定する指定情報を取得するステップと、前記指定情報が動的コンテンツ復号部を指定するとき、前記動的コンテンツ復号部を用いて動的コンテンツを復号し、復号された動的コンテンツを、第1の表示装置で表示を行うための第1のバッファに格納するステップと、前記第1のバッファに格納された前記動的コンテンツを、第2の表示装置で表示を行うための第2のバッファに転送するステップとを有するようにした。
本発明によれば、第1の表示装置で表示を行うための第1のバッファから、第2の表示装置で表示を行うための第2のバッファへと、復号された動的コンテンツを転送することができる。これにより、動的コンテンツのデコーダを、第2の表示装置のために別個に設けなくて済み、機能部の重複および処理の重複を回避して、複数の表示装置で動画コンテンツを表示することができる。
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係る表示制御装置を含む画像表示システムの構成を示すシステム構成図である。
図1において、画像表示システム100は、ウェブサーバ200、IP網300、ポータブル端末400、および外部モニタ500を有する。ポータブル端末400は、本発明に係る表示制御装置を含む端末であり、例えば、携帯電話機である。外部モニタ500は、ポータブル端末400の本体ディスプレイ400aよりも大きい、つまり解像度がより高いディスプレイ500aを有する表示装置であり、例えば、家庭用テレビジョンである。
ウェブサーバ200は、ウェブページを記述したデータ(以下「コンテンツデータ」という)を格納しており、ポータブル端末400からの要求に応じて、コンテンツデータを返信する。すなわち、ウェブサーバ200は、ポータブル端末400がアクセスを行う対象となるサーバである。ウェブサーバ200は、静的なウェブページのみならず、動画、スクリプト、およびアニメーション等の動的なコンテンツを含む動的なウェブページをも格納している。本実施の形態では、動的なコンテンツが、動画コンテンツ(以下、適宜「動画」という)であるものとして以下の説明を行う。
IP網300は、IPを使用した通信ネットワークである。IP網300は、例えば、インターネット等の広域無線網、無線LAN(local area network)、またはIEEE802.16/16e等で策定された無線MAN(metropolitan area network)である。
ポータブル端末400は、ウェブサーバ200から、IP網300を介して、ウェブページのコンテンツデータ(以下、適宜「ウェブページ」という)を取得する機能を有する。また、ポータブル端末400は、取得したコンテンツデータに基づいて、ウェブページを自端末のディスプレイ(以下「本体ディスプレイ」という)400aに表示する機能を有する。ポータブル端末400は、静的なウェブページのみならず、動画を含む動的なウェブページをも取得・表示可能である。また、ポータブル端末400は、取得した1つのコンテンツデータから、ウェブページを表示するためのデータ(以下「表示データ」という)を複数生成する機能を有する。具体的には、ポータブル端末400は、本体ディスプレイ400a用の表示データだけでなく、外部モニタ500のディスプレイ(以下「モニタディスプレイ」という)500a用の表示データをも生成する。ポータブル端末400は、生成した外部モニタ500用の表示データを、所定の画像圧縮方式を用いてエンコードし、近距離無線通信による無線通信回線600を使用して、外部モニタ500に送信する。所定の画像圧縮方式は、例えば、Motion−JPEG/JPEG2000、MPEG2、またはH.264である。
また、ポータブル端末400は、動画を含むウェブページを取得したとき、本体ディスプレイ400a用にデコードされた動画のデータ(以下「動画データ」という)を、本体ディスプレイ400aでの動画表示だけでなく、外部モニタ500での動画表示にも用いる。
外部モニタ500は、ポータブル端末400から表示データを受信し、受信した表示データに基づいて、モニタディスプレイ500aにウェブページを表示する機能を有する。外部モニタ500は、ポータブル端末400と共通の近距離通信方式および表示データ形式に対応している。
無線通信回線600は、ポータブル端末400と外部モニタ500を接続する近距離無線の通信回線である。無線通信回線600の無線通信方式として、例えば、UWB(ultra wide band)や、IEEE802.11を採用することができる。
ここで、図1を用いて、画像表示システム100の利用形態の一例について説明する。
まず、ユーザにより、動画を含むウェブページが指定されると、ポータブル端末400は、指定されたウェブページをウェブサーバ200から取得し、本体ディスプレイ400aに表示する。そして、表示されたウェブページ400bにおいて、動画400cの再生が開始される。
そして、ユーザにより、表示中のウェブページ400bを外部モニタ500で表示することが指示されると、ポータブル端末400は、外部モニタ500用の表示データを作成し、無線通信回線600を介して外部モニタ500に出力する。この結果、外部モニタ500のモニタディスプレイ500aには、ウェブページ500bが表示され、ウェブページ500b上で動画500cが再生される。本体ディスプレイ400a用にデコードされた動画データが、外部モニタ500のウェブページでも利用されるので、外部モニタ500の動画500cは、ポータブル端末400で再生されている動画400cとほぼ同期して再生される。実際には、動画500cには、無線通信における表示データの伝送および画像圧縮・伸長処理によって、動画400cよりも多少の遅延が発生するが、視聴に支障をきたさない程度である。
このような画像表示システム100によれば、ポータブル端末400でウェブサーバ200からウェブページを取得し、外部モニタ500の大きなディスプレイで、ウェブページを本来のレイアウトを保持した状態で表示させることができる。
次に、ポータブル端末400の構成について説明する。図2は、ポータブル端末400の構成を示すブロック図である。
図2において、ポータブル端末400は、入力装置401、IP接続インタフェース402、共通パーザ403、ブラウザ制御部404、本体用レンダラー405、本体用フレームバッファ406、本体表示部407、バッファ転送部408、共通動画デコーダ409、外部モニタ用レンダラー410、外部モニタ用フレームバッファ411、および外部モニタインタフェース412を有する。共通パーザ403、ブラウザ制御部404、本体用レンダラー405、および外部モニタ用レンダラー410は、ウェブページのブラウザを構成する。
入力装置401は、ユーザからの入力を受け付ける入力装置である。本実施の形態では、入力装置401は、タッチスクリーンであるものとする。本実施の形態では、入力装置401は、便宜上、入力を行うハードウェアと出力を行うソフトウェアとを含む概念とする。ソフトウェアは、例えば、ハードウェア割り込みを受信し、OS(operating system)上で動作するアプリケーション上のイベントとして入力情報を出力する、デバイスドライバやユーザモードプロセス等である。入力装置401は、ユーザの入力操作を受けて、他のプロセス、つまり共通パーザ403やブラウザ制御部404に、イベントやメッセージを送る。
IP接続インタフェース402は、IP網300と接続するためのインタフェースである。IP接続インタフェース402も、本実施の形態では、便宜上、ハードウェアとソフトウェアとを含む概念とする。ハードウェアは、無線通信用のパワーアンプ、RF(radio frequency)やベースバンドチップ等である。ソフトウェアは、ハードウェアを制御するためのデバイスドライバやユーザモードプロセス等である。IP接続インタフェース402は、IP網300側からのパケットの受信を受けて、他のプロセス、つまり共通パーザ403や共通動画デコーダ409にイベントやメッセージを送る。また、IP接続インタフェース402は、ソケットインタフェース等を使い、他のプロセス、つまり共通パーザ403や共通動画デコーダ409から入力されたデータを、IP網300に送出する。
共通パーザ403は、入力装置401からのイベントの入力を受けて、IP接続インタフェース402を制御してウェブサーバ200からウェブページを取得する機能を有する。また、共通パーザ403は、取得したウェブページの内容を解析し、解析結果をブラウザ制御部404に渡す機能を有する。ウェブページのコンテンツデータは、HTMLやXML(extensible markup language)等のマークアップ言語で、ウェブページの表示内容を記述したものである。共通パーザ403は、例えば、W3C(World Wide Web Consortium)で標準化されたDOM(Document Object Model)の適用を想定した場合、DOMを実装したライブラリのうち、主に、DOM Core、DOM HTML、およびDOM Level 2 Eventsの部分に当たる。共通パーザ403には、一般にブラウザエンジンと呼ばれるコンポーネントを用いることができる。具体的には、例えば、マイクロソフト(Microsoft(登録商標))社のインターネットエクスプローラ(Internet Explorer、登録商標)のコンポーネントであるTrident(登録商標)、Gecko、KHTML、WebKit、Presto等である。以下、ウェブページのコンテンツデータがHTMLデータであるものとして、説明を行う。
ブラウザ制御部404は、共通パーザ403を使用してブラウザの挙動を決める、ブラウザの中心部となる機能部である。ブラウザ制御部404は、必要に応じて、本体用レンダラー405および外部モニタ用レンダラー410に対して共通の動画のデコード処理を行わせるための指示を行う。この指示は、取得されたウェブページを書き換えることによって実現される。具体的には、ブラウザ制御部404は、HTMLデータに対し、動画を表示させるために指定されている外部プログラム(プラグイン)を、後述のバッファ転送部408に書き換える。
本体用レンダラー405は、本体表示部407でのブラウザ表示を行う際に、ブラウザ制御部404から呼び出されて動作する機能部である。本体用レンダラー405は、HTMLデータを、後述の本体表示部407用の表示データに変換して本体用フレームバッファ406に格納すると共に、後述の動画バッファ406aの領域を決定し、必要に応じてプラグインを起動する機能を有する。一般には、本体用レンダラー405は、HTMLデータにOBJECTタグやEMBEDタグによるコンテンツ指定が存在するときに、対応するプラグインを起動する。本体用レンダラー405は、プラグインを起動する際に、必要に応じて動画バッファ406aの領域に関する情報を起動対象のプラグインに渡す。本体用レンダラー405は、DOMの適用を想定した場合、DOMを実装したライブラリのうち、描画を行う部分に当たる。また、本体用レンダラー405には、ブラウザエンジンを用いることができる。
本体用フレームバッファ406には、ウェブページを本体表示部407に表示するための表示データが格納される。本体用フレームバッファ406のうち、後述の本体表示部407に表示される動画データが格納される領域を、動画バッファ406aとする。本体用フレームバッファ406は、ブラウザ制御部404がOSよりも上位のアプリケーションレイヤのソフトウェアとして実装されている場合には、このアプリケーションからアクセス可能である必要がある。本体用フレームバッファ406は、本実施の形態では、説明の簡単のため、単一のバッファとしているが、描画動作による遅延を吸収するために、複数のバッファを備えた構成としても良い。
本体表示部407は、ポータブル端末400の本体に付属するディスプレイを含み、本体用フレームバッファ406に格納された表示データに基づいて、ウェブページを表示する機能を有する。本体表示部407は、液晶または有機EL(electroluminescence)等を用いたディスプレイデバイスおよびドライバモジュール等のハードウェアと、デバイスドライバなどのソフトウェアとを含む。
バッファ転送部408は、後述の共通動画デコーダ409を起動し、動画データのデコードおよび動画バッファ406aへの書き込みを指示する機能を有する。またバッファ転送部408は、本体用フレームバッファ406に格納される表示データのうち動画バッファ406aに格納される部分、つまりデコードされた動画データを、後述の外部モニタ用フレームバッファ411に転送する機能を有する。バッファ転送部408は、従来では本体用レンダラー405によって共通動画デコーダ409が起動されるべきところを、共通動画デコーダ409の代わりに起動され、本体用レンダラー405に代わって共通動画デコーダ409の起動を制御するプロセスである。バッファ転送部408の起動、およびバッファ転送部408による共通動画デコーダ409の起動は、上述のブラウザ制御部404でのHTMLの書き換えによって実現される。HTMLの書き換えの詳細については、後述する。
共通動画デコーダ409は、動画の基となるデータ(以下「動画データ」という)をデコードして、フレームバッファに格納可能な動画データを作成する機能を有する。共通動画デコーダ409は、IP接続インタフェース402およびIP網300を介して、図1のウェブサーバ200から動画データを取得し、取得した動画データに対して順次デコードを行う。そして、共通動画デコーダ409は、デコードした動画データを、バッファ転送部408によって指定された場所に書き込む。共通動画デコーダ409は、従来ではレンダラーによって起動されて制御されるべきところを、バッファ転送部408によって起動されて制御されるプロセスである。バッファ転送部408による共通動画デコーダ409の起動および制御は、上述のブラウザ制御部404でのHTMLの書き換えによって実現される。
外部モニタ用レンダラー410は、HTMLデータを、外部モニタ500用の表示データに変換して外部モニタ用フレームバッファ411に格納すると共に、本体用レンダラー405と同様に、必要に応じてプラグインを起動する機能を有する。外部モニタ用レンダラー410が本体用レンダラー405と異なる点は、外部モニタ500における描画領域の大きさに関する知識を持っている点である。これにより、外部モニタ用レンダラー410は、本体表示部407とは解像度が異なる外部モニタ500において、ウェブページが適切なレイアウトで表示されるような表示データを、生成することができる。
外部モニタ用フレームバッファ411には、ウェブページを外部モニタ500に表示するための表示データが格納される。外部モニタ用フレームバッファ411のうち、外部モニタ500に表示される動画データが格納される領域を、動画バッファ411aとする。外部モニタ用フレームバッファ411は、ブラウザ制御部404がOSよりも上位のアプリケーションレイヤのソフトウェアとして実装されている場合には、このアプリケーションからアクセス可能である必要がある。外部モニタ用フレームバッファ411は、本実施の形態では、説明の簡単のため、単一のバッファとしているが、描画動作による遅延を吸収するために、複数のバッファを備えた構成としても良い。
外部モニタインタフェース412は、外部モニタ500に接続し、外部モニタ500に対して表示データを送信するためのインタフェースである。本実施の形態では、外部モニタインタフェース412は、便宜上、ソフトウェアとハードウェアとを含む概念とする。ソフトウェアは、外部モニタ500に適合した表示データを作成するプロセス、外部モニタ500との通信回線を制御するデバイスドライバ、および表示データを一時的に保存するバッファ等である。ハードウェアは、通信回線に表示データを送出するためのインタフェースである。
ポータブル端末400は、図示しないが、CPU(central processing unit)や、制御プログラムが格納されたROM(read only memory)などの記憶媒体、RAM(random access memory)などの作業用メモリなどを有する。例えば、CPUが制御プログラムを実行することで、上記した各部の機能は実現される。
このようなポータブル端末400によれば、本体用フレームバッファ406から外部モニタ用フレームバッファ411へと、デコードされた動的コンテンツを転送することができる。これにより、ウェブサーバ200から動画を取得するための機能部を、外部モニタ500のために別個に設けなくて済み、機能部の重複および処理の重複を回避することができる。また、ウェブサーバ200から取得したウェブページを、ウェブページを本来のレイアウトを保持した状態で、外部モニタ500のディスプレイで表示させることができる。更に、ポータブル端末400と外部モニタ500との間で、動画再生の同期を取ることができる。
ここで、ポータブル端末400が取得するHTMLデータの構成について説明する。
図3は、OBJECTタグとEMBEDタグを用いて動画を表示するウェブページのHTMLデータの一例の抜粋を示す図である。
図3に示すように、ウェブサーバ200から取得されるHTMLデータ710には、OBJECTタグ711、PARAMタグ712〜714、およびEMBEDタグ715が記述されている。
OBJECTタグ711は、CLASSID属性としてコンテンツのクラスID(identifier)を指定し、WIDTH属性としてコンテンツの表示領域の横の長さを指定し、HEIGHT属性としてコンテンツの表示領域の縦の長さを指定する。
PARAMタグ712は、コンテンツとして出力する動画ファイルのアドレスを指定する。PARAMタグ713、714は、再生方法に関するパラメータを指定する。PARAMタグでは、NAME属性を使ってパラメータの名称の指定を行い、VALUE属性を使ってパラメータの値の指定を行う。EMBEDタグ715は、SRC属性によって出力動画ファイルの名称を指定し、WIDTH属性によって動的コンテンツ(ここでは動画)の表示領域の横の長さを指定し、HEIGHT属性によって動的コンテンツの表示領域の縦の長さを指定する。また、EMBEDタグ715は、LOOP属性およびQUALITY属性によって動的コンテンツの再生方法を指定し、TYPE属性によってMIME(multipurpose internet mail extension)タイプを指定する。TYPE属性以外は、OBJECTタグ711およびPARAMタグ712〜714において指定された内容と等価である。ここでは、動的コンテンツがMPEG形式の場合を示しているが、これに限定されるものではない。
HTMLデータ710に動画が含まれるか否かは、動画再生のための外部プログラム(プラグイン)に対応するクラスIDまたはMIMEタイプが、OBJECTタグのCLASSID属性またはEMBEDタグのtype属性として指定されているか否かによって、判断することができる。また、HTMLデータ710に含まれる動画は、OBJECTタグのCLASSID属性またはEMBEDタグのtype属性に基づいて、対応するプラグインを起動させることによって、再生することができる。
以下、上記構成を有するポータブル端末400の動作について説明する。
図4は、ポータブル端末400の全体動作を示すフローチャートである。
まず、ステップS1100で、ポータブル端末400は、ウェブページのリンクの指定があったか否かを判断する。具体的には、ポータブル端末400は、ウェブブラウザで表示すべきウェブページのリンクのURL(uniform resource locator)またはURI(uniform resource identifier)が指定されたか否かを判断する。リンクの指定は、例えば、ウェブブラウザが動作しているときは、ウェブブラウザに表示されているリンク部分をユーザがタッチすることに行われる。また、リンクの指定は、例えば、ウェブブラウザが起動していないときは、画面上に表示されているURLが表すアイコンをタッチすることにより行われる。リンク指定の有無の判断は、例えば、入力装置401から共通パーザ403へと、リンクが指定されたことを示すイベント検出のメッセージが入力されたか否かを判断することにより行われる。
リンク指定が行われた場合には(S1100:YES)、ステップS1300で、ポータブル端末400は、指定されたウェブページを本体表示部407で表示するための処理である本体表示処理を実行する。本体表示処理の詳細については後述する。
そして、ステップS1400で、ポータブル端末400は、外部モニタ500でのウェブページの表示、つまり表示データの外部出力の指定があったか否かを判断する。具体的には、ポータブル端末400は、例えば、入力装置401のユーザ操作によって、本体表示部407で表示されているウェブページと同一のウェブページを外部モニタ500に表示させることが指示されたか否かを判断する。外部出力の指定は、例えば、ユーザが、タッチパネルに表示された外部モニタ500を示すアイコンをタッチしたり、本体表示部407に表示されたウェブブラウザのウィンドウを、外部モニタ500を示すアイコンにドラッグ・アンド・ドロップすることにより行われる。また、外部出力指定用のボタンがポータブル端末400に設けられている場合には、外部出力の指定は、ユーザによりこのボタンが押下されることにより行われても良い。また、外部出力指定の有無の判断は、例えば、入力装置401からブラウザ制御部404へと、外部出力が指定されたことを示すイベント検出のメッセージが入力されたか否かを判断することにより行われる。外部出力の指定の検出は、ウェブページとは別の場所で行われるため、共通パーザ403ではなく、ブラウザ制御部404が行う。
外部出力の指定がされた場合には(S1400:YES)、ステップS1500で、ポータブル端末400は、本体表示部407で表示されているウェブページと同一のウェブページを外部モニタ500に表示するための処理である外部出力処理を実行する。外部出力処理の詳細については後述する。
一方、リンク指定が行われていない場合、または外部出力の指定がされていない場合には(S1100:NO、S1400:NO)、ステップS1200で、ポータブル端末400は、入力装置401のユーザ操作等によって動作終了を指示されたか否かを判断する。ポータブル端末400は、動作終了を指示されていない場合には(S1200:NO)、ステップS1100に戻って動作を継続し、動作終了を指示された場合には(S1200:YES)、一連の動作を終了する。
このような処理により、ポータブル端末400は、リンク指定を受けて本体表示処理を実行し、外部出力指定を受けて外部出力処理を実行する。
図5は、本体表示処理を示すフローチャートである。
まず、ステップS1301で、共通パーザ403は、リンク指定を検出する。
そして、ステップS1302で、共通パーザ403は、IP接続インタフェース402およびIP網300を介して、指定されたリンク先のウェブページのHTMLデータを、ウェブサーバ200から取得する。
そして、ステップS1303で、共通パーザ403は、取得したHTMLデータを解析して、構文解析データを作成し、ブラウザ制御部404に渡す。構文解析データは、HTMLデータの構造を示すデータ構造であり、例えば、W3CのDOM core仕様のDOM Structure Modelとして表現される。
そして、ステップS1304で、ブラウザ制御部404は、HTMLデータに動画が含まれるか否かを判断する。本実施の形態では、図3で説明したOBJECTタグまたはEMBEDタグの解析により、動画の有無の判断を行う。
HTMLデータに動画が含まれる場合には(S1304:NO)、ステップS1305で、ブラウザ制御部404は、HTMLデータに対し、動画再生のための起動プラグインの変更を行う。起動プラグインの変更の目的は、上述の通り、HTMLデータに基づいて動作するレンダラーに対して、共通動画デコーダ409ではなくバッファ転送部408を起動させることである。また、これにより、外部モニタ500でのウェブページ表示が開始される際に、共通動画デコーダ409が起動するのを抑制することである。
ここで、ブラウザ制御部404によるHTMLデータに対する起動プラグインの変更の処理について説明する。
図6は、図3に示すHTMLデータに対し、起動プラグインの変更が行われた後の、HTMLデータの一例の抜粋を示す図である。図3と対応する部分には同一符号を付し、これについての説明を省略する。また、図3と異なる部分、つまり変更部分に、下線を付している。
ここで、共通動画デコーダ409は、クラスID“clsid:AA−BBBB−CCCC−DDDD−EEEEEEEE0000”に対応しているものとする。また、バッファ転送部408のクラスIDは、“clsid:22AA−2A−2A−2A−22AA0000”に設定されているものとする。
この場合、ブラウザ制御部404は、図3のOBJECTタグ711のCLASSID属性が、共通動画デコーダ409のクラスIDに一致していることから、OBJECTタグ711のCLASSID属性を書き換えて、HTMLデータ720を生成する。
具体的には、ブラウザ制御部404は、図6に示すように、OBJECTタグ711のCLASSID属性を、バッファ転送部408のクラスID“clsid:22AA−2A−2A−2A−22AA0000”に書き換える。そして、ブラウザ制御部404は、図6に示すように、元のクラスIDをORIGINALCLASSID属性として記述したPARAMタグ721を追加する。これにより、起動プラグインの変更が行われた後のHTMLデータ720は、動画再生のためのプラグインとして、共通動画デコーダ409ではなく、バッファ転送部408を指定するとともに、変更前のプラグインを示す情報を含むデータとなる。
なお、起動プラグインの変更は、他の手法によっても実現することができる。
図7〜図9は、起動プラグイン変更後のHTMLデータの他の例の抜粋を示す図である。図3と同一部分には同一符号を付し、これについての説明を省略する。また、図3と異なる部分に、下線を付している。
図7は、元のクラスIDを、OBJECTタグのORIGINALCLASSID属性として埋め込む手法を採用した場合の、起動プラグイン変更後のOBJECTタグ711を示す。図8は、EMBEDタグのTYPE属性として、バッファ転送部408のMIMEタイプ“application/x−buffertransfer”を記述し、元のMIMEタイプを、ORIGINALTYPE属性として埋め込む手法を採用した場合の、起動プラグイン変更後のEMBEDタグ715を示す。図9は、図8で説明した手法に加えて、OBJECTタグで指定されていた元のクラスIDをORIGINALCLASSID属性として埋め込む手法を採用した場合の、起動プラグイン変更後のEMBEDタグ715を示す。これらの手法によっても、起動プラグインの変更が行われた後のHTMLデータ720を、動画再生のためのプラグインとして、共通動画デコーダ409ではなく、バッファ転送部408を指定するとともに、変更前のプラグインを示す情報を含むデータとすることができる。
一方、図5において、HTMLデータに動画が含まれない場合には(S1304:YES)、ステップS1306で、ブラウザ制御部404は、本体用レンダラー405を呼び出し、HTMLデータを渡して、ウェブページのレンダリングを開始するように指示する。この指示を受けて、本体用レンダラー405は、本体表示部407のウェブページ表示部分のサイズ(解像度)を取得する。
そして、ステップS1307で、本体用レンダラー405は、本体表示部407にウェブページを表示するためのレンダリングを行う。このレンダリングは、取得した本体表示部407のウェブページ表示部分のサイズに基づき、渡されたHTMLデータからレンダリングを行って表示データを生成し、本体用フレームバッファ406に書き込むことにより行われる。本体用フレームバッファ406に書き込まれた表示データは、本体表示部407に表示される。
そして、ステップS1308で、本体用レンダラー405は、ステップS1304と同様の手法により、ウェブページに動画が含まれるかどうかを判断する。
ウェブページに動画が含まれる場合には(S1308:NO)、ステップS1309で、本体用レンダラー405は、バッファ転送部408を起動するとともに、バッファ転送部408の動作に必要な各種設定を行う。
具体的には、以下の通りである。まず、本体用レンダラー405は、本体表示部407のウェブページの表示領域における動画の表示領域の位置と、動画バッファ406aのアドレスとを計算する。ブラウザがMicrosoft(登録商標)社のWindows(登録商標)である場合には、本体用レンダラー405は、アドレスの代わりに、Windows(登録商標)のデバイスコンテキストを使用して、動画バッファ406aを設定することが可能である。そして、本体用レンダラー405は、HTMLデータのOBJECTタグを解析し、OBJECTタグのCLASSID属性に記述されているクラスIDに対応するプラグインを起動する。本実施の形態では、図6で説明したように、バッファ転送部408のクラスIDが記述されているので、本体用レンダラー405は、このクラスIDに対応するプラグインであるバッファ転送部408を起動する。本体用レンダラー405は、バッファ転送部408を起動する際に、「元のクラスID(または元のMIMEタイプ)」、「動画の表示領域の位置およびサイズ」、「本体用フレームバッファ内の動画データのアドレス(動画バッファのアドレス)」、「動画ファイルのアドレス」、PARAMタグおよびOBJECTタグの属性、EMBEDタグの属性を、バッファ転送部408にパラメータとして指定する。
そして、ステップS1310で、バッファ転送部408は、本体用レンダラー405により指定された「動画バッファのアドレス」を内部に保持する。
そして、ステップS1311で、バッファ転送部408は、本体用レンダラー405により指定された「元のクラスID」または「元のMIMEタイプ」から、起動すべきプラグインを判断し、起動する。本実施の形態では、共通動画デコーダ409のクラスIDが「元のクラスID」として指定されているため、バッファ転送部408は、共通動画デコーダ409を起動する。このとき、バッファ転送部408は、本体用レンダラー405により指定された、バッファ転送部408の「クラスID」、および「MIMEタイプ」以外のパラメータを指定する。共通動画デコーダ409には、既存の動画デコーダに用いられているパラメータと同一のパラメータを設定することができるので、バッファ転送部408が共通動画デコーダ409を起動する際に、元のクラスID(または元のMIMEタイプ)を指定することも可能である。この場合には、既存のプラグインをそのまま流用することができる。
そして、ステップS1312で、共通動画デコーダ409は、バッファ転送部408により指定された「動画の表示領域の位置およびサイズ」を元にして、「動画ファイルのアドレス」として指定された動画ファイルに対し、動画デコードを行う。具体的には、共通動画デコーダ409は、指定された動画ファイルの動画データを、IP接続インタフェース402およびIP網300を介してウェブサーバ200から取得し、デコードした動画データを、「動画バッファのアドレス」として指定された動画バッファ406aに書き込む。
これにより、本体表示部407では、動画の表示が開始され、ポータブル端末400は、本体表示処理を終了して図4の処理に戻る。また、ウェブページに動画が含まれない場合は(S1308:YES)、ポータブル端末400は、ステップS1309〜S1312の処理を行うことなく、本体表示処理を終了して図4の処理に戻る。
このようにして、ポータブル端末400は、ウェブページに動画が含まれるときに、バッファ転送部408を起動し、バッファ転送部408の制御のもと、共通動画デコーダ409による動画デコードを開始することができる。
図10は、外部出力処理を示すフローチャートである。
まず、ステップS1401で、ブラウザ制御部404は、外部出力指定を検出する。
そして、ステップS1402で、ブラウザ制御部404は、図5のステップS1305で起動プラグインを変更されたHTMLデータ(図6参照)に基づいて、外部モニタ用レンダラー410を呼び出す。そして、ブラウザ制御部404は、外部モニタ用レンダラー410に対し、HTMLデータを渡して、ウェブページのレンダリングを開始するように指示する。この指示を受けて外部モニタ用レンダラー410には、外部モニタ500のウェブページ表示部分のサイズ(解像度)を取得する。
そして、ステップS1403で、外部モニタ用レンダラー410は、外部モニタ500にウェブページを表示するためのレンダリングを行う。このレンダリングは、取得した外部モニタ500のウェブページ表示部分のサイズに基づき、渡されたHTMLデータからレンダリングを行って表示データを生成し、外部モニタ用フレームバッファ411に書き込むことにより行われる。外部モニタ用フレームバッファ411に書き込まれた表示データは、外部モニタインタフェース412および無線通信回線600を介して外部モニタ500に出力され、外部モニタ500に表示される。
そして、ステップS1404で、外部モニタ用レンダラー410は、図5のステップS1304と同様の手法により、ウェブページに動画が含まれるか否かを判断する。
ウェブページに動画が含まれる場合には(S1404:NO)、ステップS1405で、外部モニタ用レンダラー410は、図5のステップS1309における本体用レンダラー405の動作と同様に、バッファ転送部408の起動を試みるとともに、バッファ転送部408の動作に必要な各種設定を試みる。
具体的には、以下の通りである。まず、外部モニタ用レンダラー410は、外部モニタ500のウェブページの表示領域における動画の表示領域の位置と、動画バッファ411aのアドレスとを計算する。そして、外部モニタ用レンダラー410は、HTMLデータのOBJECTタグを解析し、OBJECTタグのCLASSID属性に記述されているクラスIDに対応するプラグインを起動する。本実施の形態では、図6で説明したように、バッファ転送部408のクラスIDが記述されているので、外部モニタ用レンダラー410は、このクラスIDに対応するプラグインであるバッファ転送部408の起動を試みる。外部モニタ用レンダラー410は、バッファ転送部408を起動する際に、「元のクラスID(または元のMIMEタイプ)」、「動画の表示領域の位置およびサイズ」、「外部モニタ用フレームバッファ内の動画データのアドレス(動画バッファのアドレス)」、「動画ファイルのアドレス」、PARAMタグおよびOBJECTタグの属性、EMBEDタグの属性を、バッファ転送部408にパラメータとして指定することを試みる。
バッファ転送部408は、図5のステップS1309で既に起動しているため、ステップS1405では起動動作は行わない。また、バッファ転送部408は、共通動画デコーダ409でデコード処理が行われている動画を指定して、共通動画デコーダ409の起動が指示された場合には、その指示に対しては、共通動画デコーダ409の起動を行わないように設定されている。したがって、ステップS1405では、実際には、バッファ転送部408の起動および共通動画デコーダの起動は行われず、本体表示部407での動画再生は、そのまま継続されることになる。
そして、ステップS1406で、バッファ転送部408は、外部モニタ用レンダラー410により指定された「動画バッファのアドレス」を内部に保持する。
そして、ステップS1407で、バッファ転送部408は、本体用フレームバッファ406の動画バッファ406aから、外部モニタ用フレームバッファ411の動画バッファ411aへと、デコードされた動画データを転送する処理を開始する。具体的には、バッファ転送部408は、図5のステップS1310で記憶した動画バッファ406aのアドレスから、ステップS1406で記憶した動画バッファ411aのアドレスへと、動画データを転送する。この結果、外部モニタ用フレームバッファ411の動画バッファ411aには、本体用フレームバッファ406の動画バッファ406aと同一の動画データが格納される。
これにより、ステップS1408で、外部モニタ500における動画の表示が開始され、ポータブル端末400は、外部出力処理を終了して図4の処理に戻る。また、ウェブページに動画が含まれない場合は(S1404:YES)、ポータブル端末400は、ステップS1405〜S1408の処理を行うことなく、外部出力処理を終了して図4の処理に戻る。
このようにして、ポータブル端末400は、動画が含まれるウェブページを外部モニタ500で表示する際に、本体用フレームバッファ406に格納された動画データを、外部モニタ用フレームバッファ411に転送し、外部モニタ500での動画再生に用いることができる。
以下、画像表示システム100の全体動作の一例について説明する。ここでは、動画を含むウェブページを、本体表示部407と外部モニタ500とで表示する場合について説明する。
図11は、動画を含むウェブページが、本体表示部407で表示されるまでの画像表示システム100の全体動作を示すシーケンス図である。また、図12は、本体表示部407で表示されているウェブページが、外部モニタ500で表示されるまでの画像表示システム100の全体動作を示すシーケンス図である。図11および図12において、長方形で囲われた処理は、装置部が実行する処理を示し、細線は、装置部から出力される関数の呼び出し信号を示し、太線は、パケットが発生する通信信号を示す。
図11において、処理2010および信号2020は、図5のステップS1301に対応している。処理2010は、ユーザがリンクを指定する処理であり、信号2020は、共通パーザ403を起動するメッセージである。
信号2030〜2070は、図5のステップS1302に対応している。信号2030は、共通パーザ403が、IP接続インタフェース402に対してウェブページ要求を行わせるために、IP接続インタフェース402を呼び出す信号である。信号2030は、具体的には、共通パーザ403がウェブページを取得するための、http(hypertext transfer protocol)要求が格納されたパケットデータである。信号2040は、IP接続インタフェース402が、ウェブサーバ200に対してウェブページを要求する信号である。信号2040は、具体的には、例えば、HTTPのGETメッセージやPOSTメッセージである。信号2050は、信号2040のウェブページ要求に対するウェブサーバ200のウェブページ応答であり、ウェブページのHTMLデータが含まれる。信号2060は、ウェブページ応答を検出したIP接続インタフェース402が、共通パーザ403に対して、ウェブページ応答を検出した旨を通知するメッセージまたはイベントである。そして、信号2070は、共通パーザ403がブラウザ制御部404を起動するための呼び出し信号である。
信号2080〜2100は、図5のステップS1307に対応する。信号2080は、ブラウザ制御部404が本体用レンダラー405を起動するための呼び出し信号である。信号2090は、本体用レンダラー405が、レンダリングの結果として生成した表示データを、本体用フレームバッファ406に書き込むための信号である。信号2100は、本体用フレームバッファ406に書き込まれた表示データを、本体表示部407に表示するために出力される信号である。
信号2110は、図5のステップS1309に対応する。信号2110は、本体用レンダラー405がバッファ転送部408を起動するためのメッセージである。
信号2120は、図5のステップS1310に対応する。信号2120は、バッファ転送部408が共通動画デコーダ409を起動するメッセージである。
信号2130〜2150は、図5のステップS1311に対応する。信号2130は、共通動画デコーダ409が動画ファイルのアドレスに基づいてウェブサーバ200に対して出力する、動画データの取得要求である。信号2140は、信号2130(動画データの取得要求)に対する応答として、ウェブサーバ200が出力する動画データである。信号2150は、動画データをデコードした共通動画デコーダ409が、本体用フレームバッファ406の動画バッファ406aに表示データを書き込むための信号である。
信号2160は、図5のステップS1312に対応する。信号2160は、本体表示部407で動画再生を行うために、本体用フレームバッファ406の動画バッファ406aに格納された動画データを本体表示部407に出力する信号である。
ここまでの動作により、本体表示部407において、動画を含むウェブページの表示が開始される。
図12において、処理3010および信号3020は、図10のステップS1401に対応する。処理3010は、ユーザが外部出力を指定する処理であり、信号3020は、ブラウザ制御部404を起動するためのメッセージである。
信号3030〜3060は、図10のステップS1403に対応する。信号3030は、ブラウザ制御部404が外部モニタ用レンダラー410を起動するメッセージである。信号3040は、外部モニタ用レンダラー410がレンダリングの結果として生成した表示データを、外部モニタ用フレームバッファ411に書き込む信号である。信号3050は、外部モニタ用フレームバッファ411に書き込まれた表示データを外部モニタ500に表示するために、外部モニタインタフェース412に出力される信号である。信号3060は、表示データを外部モニタ500で表示するために、更に無線通信回線600上に出力される信号である。
信号3070は、図10のステップS1405に対応する。信号3070は、外部モニタ用レンダラー410が、バッファ転送部408を起動するためのメッセージである。
信号3080は、図10のステップS1407に対応する。信号3080は、バッファ転送部408が、本体用フレームバッファ406の動画バッファ406aに格納された動画データを取得し、外部モニタ用フレームバッファ411の動画バッファ411aに書き込みを行うための信号である。
信号3090、3100は、図10のステップS1410に対応する。信号3090は、外部モニタ用フレームバッファ411の表示データを、外部モニタインタフェース412に出力するための信号である。信号3100は、表示データを外部モニタ500で表示するために、更に無線通信回線600上に出力される信号である。
このような動作により、外部モニタ500においても、動画を含むウェブページの表示が開始される。
以上説明したように、本実施の形態によれば、バッファ転送部408が、本体用フレームバッファ406から外部モニタ用フレームバッファ411へと、デコード済みの動画データを転送する。これにより、外部モニタ500用の表示データを生成するために動画デコーダを別個に設けなくて済み、機能部の重複および処理の重複を回避して、本体表示部407と外部モニタ500とで動画コンテンツを表示することができる。また、本体表示部407の動画と外部モニタ500の動画とを同期させて再生することができる。すなわち、負荷の増大を抑えた状態で、外部モニタ500の表示を追加し、かつ外部モニタ500の動画の表示タイミングを、本体表示部407において再生されている時点とほぼ一致させることができる。
また、本体用フレームバッファ406から外部モニタ用フレームバッファ411への動画データの転送を、バッファ転送部408の追加と、ブラウザ制御部404におけるHTMLデータの書き換えとによって、実現することができる。これにより、既存の共通パーザ、レンダラー、フレームバッファ、および動画デコーダには特別な変更を加えることなく、上記効果を得ることができる。
(実施の形態2)
本発明の実施の形態2では、ポータブル端末は、複数のディスプレイで動画の表示領域(以下「動画表示領域」という)の大きさが異なるときに、最も大きい動画表示領域を持つディスプレイのための動画デコードをまず行い、デコードされた動画データを他のディスプレイで使用する。
図13は、本発明の実施の形態2に係る表示制御装置を含む画像表示システムの構成を示すシステム図であり、実施の形態1の図1に対応するものである。図1と同一部分には同一符号を付し、これについての説明を省略する。
図13に示すように、画像表示システム800は、図1のポータブル端末400に代えて、ポータブル端末400とは異なる構成のポータブル端末900を有する。外部モニタ500の解像度は、ポータブル端末900の本体表示部407の解像度よりも高いものとする。
ポータブル端末900は、動画を含むウェブページを取得したとき、解像度のより高い外部モニタ500用にデコードされた動画データを、縮小処理を施した上で、本体ディスプレイ400aでの動画表示に用いる。すなわち、ポータブル端末900は、モニタディスプレイ500bで表示するための、サイズの大きな動画500cを先に生成し、その後、本体ディスプレイ400aで表示されるサイズの小さな動画400cを生成する。
図14は、ポータブル端末900の構成を示すブロック図であり、実施の形態1の図2に対応するものである。図2と同一部分には同一符号を付し、これについての説明を省略する。
図14に示すように、ポータブル端末900は、図2のブラウザ制御部404およびバッファ転送部408とは異なる動作を行うブラウザ制御部904およびバッファ転送部908を有する。また、共通動画デコーダ409は、外部モニタ用フレームバッファ411に接続されている。
ブラウザ制御部904は、実施の形態1のブラウザ制御部404の機能に加えて、最も大きい動画表示領域を有するディスプレイのフレームバッファを動画データの転送元に指定し、他のフレームバッファを転送先に指定する情報を、HTMLデータに追加する機能を有する。また、ブラウザ制御部904は、転送の際に動画データに施すべき画像編集処理を指定する情報を、HTMLデータに追加する機能を有する。
バッファ転送部908は、実施の形態1のバッファ転送部408と同様の機能を有しているが、HTMLデータに含まれるPARAMタグのDirectionパラメータに基づいて、共通動画デコーダ409の起動を行う。Directionパラメータについては、後述する。
このようなポータブル端末900によれば、動画を含むウェブページを取得したときに、外部モニタ500用にデコードされた動画データを、縮小処理を施した上で、本体ディスプレイ400aでの動画表示に用いることができる。
次に、上記構成を有するポータブル端末900の全体動作について説明する。
図15は、ポータブル端末900の全体動作を示すフローチャートであり、実施の形態1の図4、図5、および図10に対応するものである。図4、図5、および図10と同一部分には同一ステップ番号を付し、これについての説明を省略する。
ステップS1304で、HTMLデータに動画が含まれるかHTMLデータに動画が含まれると判断されると(S1304:NO)、ステップS2305で、ブラウザ制御部904は、HTMLデータに対し、動画再生のための起動プラグインの変更を行う。ここでのHTML書き換えの目的は、実施の形態1の転送方法の指定に加えて、動画データの転送元と転送先とを指定することである。ディスプレイのサイズが異なると、ディスプレイ上のウェブブラウザのウィンドウのサイズは異なるため、ディスプレイの解像度のみに基づいて動画表示領域の大小をバッファ転送部908の側で判断することは難しい。すなわち、バッファ転送部908の側で、動画デコード処理を行う側のディスプレイと、動画データの転送を受ける側のディスプレイを決定することは難しい。
そこで、ブラウザ制御部904は、動画データの転送元および転送先を決め、決定結果をバッファ転送部908に通知するような内容に、HTMLデータを書き換える。具体的には、ブラウザ制御部904は、複数のディスプレイのウィンドウサイズを保持し、各ディスプレイのウィンドウサイズを比較して、最も大きなウィンドウサイズのディスプレイのフレームバッファを、転送元に決定する。ここでは、ブラウザ制御部904は、外部モニタ500で表示する際のブラウザのウィンドウサイズを保持し、本体表示部407で表示する際のブラウザのウィンドウサイズと比較する。本実施の形態では、上述の通り、外部モニタ500のブラウザの動画表示領域のほうが、本体表示部407の動画表示領域よりも大きい場合を想定している。したがって、ここでは、ブラウザ制御部904は、外部モニタ用フレームバッファ411の動画バッファ411aを転送元に決定し、本体用フレームバッファ406の動画バッファ406aを転送先に決定する。
また、ブラウザ制御部904は、転送の際の動画データの縮小比を決定し、決定結果をバッファ転送部908に通知するような内容に、HTMLデータを書き換える。具体的には、ブラウザ制御部904は、転送元に対応するウィンドウサイズと転送先に対応するウィンドウサイズとの比を、WIDTH属性およびHEIGHT属性に設定する。
このウィンドウサイズの比の決定は、例えば、外部ディスプレイの垂直方向の画素数に対する本体画面の垂直方向の画素数を計算する手法や、外部ディスプレイの水平方向の画素数に対する本体画面の水平方向の画素数を計算する手法により行われる。ここでは、ブラウザ制御部904は、動画の表示領域のサイズ(解像度)を、縦横共に40%に縮小する処理を指定することを決定するものとする。
図16は、図3に示すHTMLデータに対し、起動プラグインの変更が行われた後の、本体表示部407用のHTMLデータの一例の抜粋を示す図であり、図6に対応するものである。図6と対応する部分には同一符号を付し、これについての説明を省略する。また、図3と異なる部分、つまり変更部分に、下線を付している。
ブラウザ制御部904は、PARAMタグ734を追加するとともに、OBJECTタグ711を書き換えて、本体表示部407用のHTMLデータ730を生成する。
具体的には、ブラウザ制御部904は、図16に示すように、Directionパラメータに、destinationという値を指定するPARAMタグ734を追加する。また、ブラウザ制御部904は、OBJECTタグ711のCLASSID属性を図6と同様に書き換えるとともに、WIDTH属性およびHEIGHT属性を、40%に書き換える。destinationを指定するのは、本体用フレームバッファ406側が転送先に決定されたためである。また、WIDTH属性およびHEIGHT属性が40%なのは、動画データを転送する際に、動画データのサイズを40%にする縮小処理を行うためである。
図17は、図3に示すHTMLデータに対し、起動プラグインの変更が行われた後の、外部モニタ500用のHTMLデータの一例の抜粋を示す図であり、図6に対応するものである。図6と対応する部分には同一符号を付し、これについての説明を省略する。また、図3と異なる部分、つまり変更部分に、下線を付している。
ブラウザ制御部904は、本体表示部407用のHTMLデータ730と同様にOBJECTタグ711を書き換える。一方で、ブラウザ制御部904は、本体表示部407用のHTMLデータ730とは異なり、Directionパラメータにsourceを指定するPARAMタグ744を追加して、外部モニタ500用のHTMLデータ740を生成する。sourceを指定するのは、外部モニタ500側が転送先に決定されたためである。
このようなHTMLデータの書き換えを行った後、ブラウザ制御部904は、ステップS1306で、本体表示部407用のHTMLデータ(図16参照)に基づいて、本体用レンダラー405に対してウェブページのレンダリングを行うことを指示する。そして、ステップS1306〜S1308の処理により、表示データが本体用フレームバッファ406に格納される。
ウェブページに動画が含まれる場合には(S1308:NO)、ステップS2309で、本体用レンダラー405は、図5のステップS1309と同様に、パラメータを指定してバッファ転送部908を起動する。このとき、本体用レンダラー405は、バッファ転送部908に対するパラメータ指定に、HTMLデータに記述されたDirectionパラメータの指定を含める。
バッファ転送部908は、Directionパラメータがsourceのときには、共通動画デコーダ409を起動させるが、Directionパラメータがdestinationのときには、共通動画デコーダ409を起動させないようになっている。本体表示部407用のHTMLデータ(図16参照)では、Directionパラメータはdestinationとなっている。したがって、ステップS2309では、バッファ転送部908は、共通動画デコーダ409を起動させずに、ステップS1310で、本体用レンダラー405により指定された「動画バッファのアドレス」を内部に保持する。
そして、ステップS2405で、ブラウザ制御部904は、外部モニタ500用のHTMLデータ(図17参照)に基づいて、外部モニタ用レンダラー410に対してウェブページのレンダリングを行うことを指示する。ただし、外部モニタ500でのウェブページの表示が指定されていない場合には、ブラウザ制御部904は、外部モニタ用レンダラー410に対して、内部的にのみレンダリングを行い、レンダリングした結果を表示しないように指定する。この結果、外部モニタ用レンダラー410は、図5のステップS1405と同様に、パラメータを指定してバッファ転送部908を起動する。このとき、外部モニタ用レンダラー410は、バッファ転送部908に対するパラメータ指定に、HTMLデータに記述されたDirectionパラメータの指定を含める。そして、バッファ転送部908は、ステップS1406で、外部モニタ用レンダラー410により指定された「動画バッファのアドレス」を内部に保持する。また、ブラウザ制御部904によって、レンダリングした結果を表示しないように指定されているため、外部モニタ用フレームバッファ411のデータは、外部モニタインタフェース412に対して出力されない。
そして、ステップS2311で、バッファ転送部908は、外部モニタ500用のHTMLデータ(図17参照)のDirectionパラメータはsourceとなっていることから、図5のステップS1311と同様に、共通動画デコーダ409を起動させる。具体的には、バッファ転送部908は、本体用レンダラー405により指定された「元のクラスID」または「元のMIMEタイプ」から、起動すべきプラグインを判断する。また、バッファ転送部908は、他のパラメータについては、外部モニタ用レンダラー410により指定されたパラメータを用いる。これにより、外部モニタ500の大きい動画表示領域に合わせた動画デコードが行われ、デコードされた動画データが、外部モニタ用フレームバッファ411の動画バッファ411aに格納される。
そして、ステップS2407で、バッファ転送部908は、Directionパラメータの指定に従い、動画データの転送を開始する。すなわち、バッファ転送部908は、外部モニタ用フレームバッファ411の動画バッファ411aから、本体用フレームバッファ406の動画バッファ406aへと、デコードされた動画データを転送する処理を開始する。また、この転送処理において、バッファ転送部908は、WIDTH属性およびHEIGHT属性の指定に従い、動画データの縮小処理を行う。具体的には、バッファ転送部908は、一旦、外部モニタ用フレームバッファ411の動画バッファ411aから動画データを取得した後、その動画データに対する縮小処理を行い、縮小処理の結果得られた動画データを、本体用フレームバッファ406の動画バッファ406aに出力する。縮小処理に必要な動画領域のパラメータは、バッファ転送部908の起動の際に取得した値が用いられる。
そして、ステップS1312で、動画デコードが行われる。外部モニタ500でのウェブページの表示が指定されていない場合には、上述の通り、外部モニタ500には表示データを表示しないように指定されるため、本体表示部407にのみウェブページが表示される。
このようにして、ポータブル端末900は、動画表示領域の大きい外部モニタ500に合わせて動画データをデコードし、デコードされた動画データを、動画表示領域の小さい本体表示部407での動画表示に用いることができる。
以下、画像表示システム800の全体動作の一例について説明する。ここでは、動画を含むウェブページを、本体表示部407と外部モニタ500とで表示する場合について説明する。
図18は、動画を含むウェブページが、本体表示部407および本体表示部407で表示されるまでの画像表示システム800の全体動作を示すシーケンス図であり、実施の形態1の図11および図12に対応するものである。図18では、図11の信号2070以前の部分は図11と同様なので、ここではその図示および説明を省略する。
図18において、信号4010〜4030は、図15のステップS1307に対応する。信号4010は、ブラウザ制御部904が本体用レンダラー405を起動するための呼び出し信号である。信号4020は、本体用レンダラー405がレンダリングの結果として生成した表示データを、本体用フレームバッファ406に書き込むための信号である。信号4030は、本体用フレームバッファ406に書き込まれた表示データを、本体表示部407に表示するために出力される信号である。
信号4040は、図15のステップS2309に対応する。信号4040は、これは本体用レンダラー405がバッファ転送部908を起動するためのメッセージである。
信号4050、4060は、図15のステップS2405に対応する。信号4050は、ブラウザ制御部904が外部モニタ用レンダラー410を起動するメッセージである。信号4060は、外部モニタ用レンダラー410がバッファ転送部908を起動するメッセージである。
信号4070〜4100は、図15のステップS2311に対応する。信号4070は、バッファ転送部908が共通動画デコーダ409を起動するためのメッセージである。信号4080は、共通動画デコーダ409が、動画ファイルのアドレスに基づいて、ウェブサーバ200に対して出力する、動画データの取得を要求する信号である。信号4090は、信号4080に対してウェブサーバ200が出力する動画データである。信号4100は、共通動画デコーダ409が、デコードした動画データを、外部モニタ用フレームバッファ411の動画バッファ411aに書き込むための信号である。
信号4110は、ステップS2407に対応する。信号4110は、バッファ転送部908が、外部モニタ用フレームバッファ411の動画バッファ411aから、本体用フレームバッファ406の動画バッファ406aへと、動画データを転送するための信号である。
信号4120は、ステップS1312に対応する。信号4120は、表示データを本体表示部407に表示するための信号である。
このような動作により、外部モニタ500に合わせてデコードされた動画データが、本体表示部407での動画表示に用いられる。
このように、本実施の形態によれば、ブラウザ制御部904は、複数のディスプレイで表示されるブラウザの動画領域の大きさを比較し、最大の動画領域を持つディスプレイに対応したフレームバッファを、動画データの転送元に決定する。そして、バッファ転送部908は、転送元のフレームバッファに格納されたデコード後の動画データを、転送先のフレームバッファに転送する。これにより、複数の異なる大きさのブラウザに動画を表示する場合に、複数のデコード処理を行うことなく、どのディスプレイにおいても画質の低下を防ぐことができる。
なお、以上説明した各実施の形態では、ウェブページを表示する2つのディスプレイが、ポータブル端末のディスプレイと外部モニタのディスプレイである場合について説明したが、これに限定されるものではない。ポータブル端末に備えられた2つのディスプレイや、2つの外部モニタに、ウェブページを表示させるようにしても良い。また、3つ以上のディスプレイにウェブページを表示させるようにしても良い。この場合には、動画データの転送元となるフレームバッファと、動画データの転送先となるフレームバッファとの間に、バッファ転送部を配置するようにすれば良い。
ポータブル端末として、無線通信によって外部モニタおよびIP網に接続する無線通信端末を想定したが、据置型で有線ネットワークを使って外部モニタおよびIP網と接続する端末としても良い。また、外部モニタ500との接続を有線通信とする場合には、一般のディスプレイに用いられるVGA(video graphics array)信号、DVI(digital visual interface)、HDMI(high-definition multimedia interface)信号を適用することができる。また、ポータブル端末から外部モニタへの通信回線の帯域に余裕があれば、非圧縮の表示データを伝送するようにしてもよい。
また、ブラウザ制御部で、動画コンテンツごとにウェブページ内で一意な識別子を割り当て、バッファ転送部で、識別子ごとに、プラグインの起動およびデータ転送を行うようにしてもよい。具体的には、バッファ転送部は、動画バッファのアドレスや表示領域等の、バッファ転送に必要なデータを記憶し、外部モニタ用にバッファ転送部が起動されたときに、識別子に対応する本体の動画バッファから、動画データを転送するようにする。これにより、ウェブページに複数の動画コンテンツが含まれる場合でも、外部モニタでデコードを行うための負荷を増加させずに、適切に表示することができる。
また、ウェブページの動画の有無を判断する手法は、実施の形態で説明した手法に限定されない。例えば、aタグで指定されたリンクが示すファイルの拡張子が、動画ファイルの拡張子に該当するか否かを判断することにより、ウェブページの動画の有無を判断するようにしても良い。
また、動画を再生するプログラムがブラウザとは別に起動される場合には、起動されたプロセスで使用されるフレームバッファにおける動画データの位置を取得し、外部モニタにおける表示プロセスにおいて動画データを取り出して送出する構成としても良い。この場合でも、上記実施の形態と同様に、動画デコードの負荷を削減することができる。
また、アニメーションや、スクリプトを使ったインタラクティブなコンテンツ等、動画以外の動的コンテンツのデータについても、フレームバッファ間での転送を行うようにしても良い。例えば、動画以外のOBJECTタグまたはEMBEDタグを使用したアクティブコンテンツの場合、実施の形態で説明した手法により、動的コンテンツの有無の判断を行い、動的コンテンツの領域の表示データを転送することができる。また、スクリプトによって動作する部分の転送を行う場合には、OBJECTタグの代わりに、SCRIPTタグに基づいて、動的コンテンツの有無を判断し、動的コンテンツの領域の表示データを転送することができる。
また、ウェブページと動画とが、同一のウェブサーバに格納されている場合について説明したが、別々のウェブサーバに格納されていても良い。また、HTMLデータの取得は、IP網以外にも、HTMLデータの格納場所からHTMLデータを取得するプロトコルの各種ネットワークを介して行うことができる
また、ポータブル端末の入力装置は、タッチスクリーンに限定されるものではなく、マウス、タッチパネル、タッチパッド、トラックポイント、およびトラックボール等のポインティングデバイス、キーボード、キースイッチ等、他の入力デバイスを用いることができる。
本発明に係る表示制御装置および表示制御方法は、機能部の重複および処理の重複を回避して、複数のディスプレイで動画コンテンツを表示することができる、表示制御装置および表示制御方法として有用である。
本発明の実施の形態1に係る表示制御装置を含む画像表示システムの構成を示すシステム構成図 実施の形態1に係るポータブル端末の構成を示すブロック図 実施の形態1におけるHTMLデータの一例の抜粋を示す図 実施の形態1に係るポータブル端末の全体動作を示すフローチャート 実施の形態1における本体表示処理を示すフローチャート 実施の形態1における起動プラグイン変更後のHTMLデータの一例の抜粋を示す図 実施の形態1における起動プラグイン変更後のHTMLデータの他の例の抜粋を示す図 実施の形態1における起動プラグイン変更後のHTMLデータの他の例の抜粋を示す図 実施の形態1における起動プラグイン変更後のHTMLデータの他の例の抜粋を示す図 実施の形態1における外部出力処理を示すフローチャート 実施の形態1に係る画像表示システムの全体動作を示す第1のシーケンス図 実施の形態1に係る画像表示システムの全体動作を示す第2のシーケンス図 本発明の実施の形態2に係る表示制御装置を含む画像表示システムの構成を示すシステム図 実施の形態2に係るポータブル端末の構成を示すブロック図 実施の形態2に係るポータブル端末の全体動作を示すフローチャート 実施の形態2における本体表示部用のHTMLデータの一例の抜粋を示す図 実施の形態2における外部モニタ用のHTMLデータの一例の抜粋を示す図 実施の形態2に係る画像表示システムの全体動作を示すシーケンス図 従来の装置の構成を示すブロック図
符号の説明
100、800 画像表示システム
200 ウェブサーバ
300 IP網
400、900 ポータブル端末
401 入力装置
402 IP接続インタフェース
403 共通パーザ
404、904 ブラウザ制御部
405 本体用レンダラー
406 本体用フレームバッファ
407 本体表示部
408、908 バッファ転送部
409 共通動画デコーダ
410 外部モニタ用レンダラー
411 外部モニタ用フレームバッファ
412 外部モニタインタフェース
500 外部モニタ
600 無線通信回線

Claims (9)

  1. 動的コンテンツの復号を行い、復号した動的コンテンツを第1のバッファに格納するコンテンツ取得部と、
    前記第1のバッファに格納された前記動的コンテンツを、第2のバッファに転送するバッファ転送部と、
    前記第1のバッファに格納された前記動的コンテンツを第1の表示装置に表示させる第1の表示制御部と、
    前記第2のバッファに格納された前記動的コンテンツを第2の表示装置に表示させる第2の表示制御部と、を備え、
    前記コンテンツ取得部は、
    動的コンテンツの復号を行う復号主体を指定する指定情報を入力する情報入力部と、
    動的コンテンツの復号を行う動的コンテンツ復号部と、
    前記指定情報が前記動的コンテンツ復号部を指定するとき、前記指定情報を、前記バッファ転送部を指定する内容に書き換える情報書換部と、を有する、
    表示制御装置。
  2. 前記バッファ転送部は、
    前記コンテンツ取得部に対して、前記動的コンテンツ復号部によって復号された動的コンテンツを、前記第1のバッファに格納させる、
    請求項1記載の表示制御装置。
  3. 前記コンテンツ取得部は、
    前記指定情報により指定される前記復号主体に対して、動的コンテンツを復号して復号された動的コンテンツを前記第1のバッファに格納する第1の処理、を実行させる第1のレンダリング部と、
    前記指定情報により指定される前記復号主体に対して、動的コンテンツを復号して復号された動的コンテンツを前記第2のバッファに格納する第2の処理、を実行させる第2のレンダリング部と、を更に有し、
    前記バッファ転送部は、
    第1のレンダリング部から前記第1の処理の実行を指示されたとき、前記動的コンテンツ復号部に対して、前記第1の処理を実行させる、
    請求項2記載の表示制御装置。
  4. 前記指定情報は、前記動的コンテンツを表示するためのウェブページを記述するコンテンツデータに含まれる、
    請求項3記載の表示制御装置。
  5. 前記情報書換部は、
    前記コンテンツデータが複数の動的コンテンツを同時表示することを記述するとき、動的コンテンツごとに識別情報を割り当て、
    前記バッファ転送部は、
    前記識別情報に対応付けて、前記動的コンテンツの転送を行う、
    請求項4記載の表示制御装置。
  6. 前記バッファ転送部は、
    転送する前記動的コンテンツに対して、縮小処理を行う、
    請求項1記載の表示制御装置。
  7. 前記縮小処理が行われていない動的コンテンツの前記第1の表示装置における表示領域は、前記縮小処理が行われていない動的コンテンツの前記第2の表示装置における表示領域よりも大きい、
    請求項6記載の表示制御装置。
  8. 複数の表示装置に接続する表示装置接続部、を更に有し、
    前記情報書換部は、
    前記表示装置接続部により接続された複数の表示装置のうち、前記縮小処理が行われていない動的コンテンツの表示領域が最も大きい表示装置を、前記第1の表示装置とし、他の表示装置を、前記第2の表示装置とする、
    請求項7記載の表示制御装置。
  9. 的コンテンツ復号部を用いて動的コンテンツを復号し、復号された動的コンテンツを、第1の表示装置で表示を行うための第1のバッファに格納するステップと、
    バッファ転送部を用いて前記第1のバッファに格納された前記動的コンテンツを、第2の表示装置で表示を行うための第2のバッファに転送するステップと、
    動的コンテンツの復号を行う復号主体を指定する指定情報を取得するステップと、
    前記指定情報が前記動的コンテンツ復号部を指定するとき、前記指定情報を、前記バッファ転送部を指定する内容に書き換えるステップと、
    を有する表示制御方法。
JP2008143706A 2008-05-30 2008-05-30 表示制御装置および表示制御方法 Expired - Fee Related JP5014259B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008143706A JP5014259B2 (ja) 2008-05-30 2008-05-30 表示制御装置および表示制御方法
PCT/JP2009/002399 WO2009144959A1 (ja) 2008-05-30 2009-05-29 表示制御装置、表示制御方法、表示制御プログラム、および記憶媒体
CN2009801012709A CN101889444B (zh) 2008-05-30 2009-05-29 显示控制装置和显示控制方法
US12/793,789 US8421808B2 (en) 2008-05-30 2010-06-04 Display controller, display control method, display control program, and memory medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008143706A JP5014259B2 (ja) 2008-05-30 2008-05-30 表示制御装置および表示制御方法

Publications (3)

Publication Number Publication Date
JP2009289205A JP2009289205A (ja) 2009-12-10
JP2009289205A5 JP2009289205A5 (ja) 2010-05-27
JP5014259B2 true JP5014259B2 (ja) 2012-08-29

Family

ID=41376848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008143706A Expired - Fee Related JP5014259B2 (ja) 2008-05-30 2008-05-30 表示制御装置および表示制御方法

Country Status (4)

Country Link
US (1) US8421808B2 (ja)
JP (1) JP5014259B2 (ja)
CN (1) CN101889444B (ja)
WO (1) WO2009144959A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5014259B2 (ja) * 2008-05-30 2012-08-29 パナソニック株式会社 表示制御装置および表示制御方法
JP4786739B2 (ja) * 2009-10-21 2011-10-05 株式会社東芝 情報処理装置および映像コンテンツデータ再生方法
JP2011134278A (ja) 2009-12-25 2011-07-07 Toshiba Corp 情報処理装置およびポインティング制御方法
JP5044731B2 (ja) * 2010-04-19 2012-10-10 株式会社Dapリアライズ タッチパネル手段を備える携帯情報処理装置及び該携帯情報処理装置用プログラム
US9258434B1 (en) * 2010-09-13 2016-02-09 Sprint Communications Company L.P. Using a mobile device as an external monitor
US8963799B2 (en) 2011-01-11 2015-02-24 Apple Inc. Mirroring graphics content to an external display
US8843358B2 (en) * 2011-02-03 2014-09-23 Echostar Technologies L.L.C. Apparatus, systems and methods for presenting displayed image information of a mobile media device on a large display and control of the mobile media device therefrom
JP5284419B2 (ja) * 2011-06-09 2013-09-11 株式会社東芝 情報処理装置および表示方法
US9569097B2 (en) * 2011-12-01 2017-02-14 Microsoft Technology Licesing, LLC Video streaming in a web browser
US9167296B2 (en) * 2012-02-28 2015-10-20 Qualcomm Incorporated Customized playback at sink device in wireless display system
US11210076B2 (en) 2013-01-28 2021-12-28 Samsung Electronics Co., Ltd. Downloading and launching an app on a second device from a first device
US9883231B2 (en) 2013-09-03 2018-01-30 Samsung Electronics Co., Ltd. Content control using an auxiliary device
US10225611B2 (en) 2013-09-03 2019-03-05 Samsung Electronics Co., Ltd. Point-to-point content navigation using an auxiliary device
JP5756156B2 (ja) * 2013-09-26 2015-07-29 株式会社オプティム 画面共有端末、画面共有方法、画面共有端末用プログラム
JP2015191505A (ja) 2014-03-28 2015-11-02 富士通株式会社 情報処理端末、表示端末、表示方法、及びプログラム
GB201410314D0 (en) * 2014-06-10 2014-07-23 Advanced Risc Mach Ltd Display controller
CN104202624B (zh) * 2014-08-22 2015-12-30 小米科技有限责任公司 传输图片的方法及装置
US9832342B2 (en) 2014-08-22 2017-11-28 Xiaomi Inc. Method and device for transmitting image
EP2996030A1 (en) * 2014-09-15 2016-03-16 Quanta Storage Inc. System and method for interacting screens in a car to perform remote operation
JP6092974B2 (ja) * 2015-09-28 2017-03-08 日立マクセル株式会社 表示制御装置およびその表示制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5682529A (en) * 1994-03-14 1997-10-28 Apple Computer, Inc. System for dynamically accommodating changes in display configuration by notifying changes to currently running application programs to generate information by application programs to conform to changed configuration
US5818441A (en) * 1995-06-15 1998-10-06 Intel Corporation System and method for simulating two-way connectivity for one way data streams
US6064420A (en) * 1995-06-15 2000-05-16 Intel Corporation Simulating two way connectivity for one way data streams for multiple parties
JP2001016545A (ja) * 1999-06-30 2001-01-19 Hitachi Ltd 映像再生装置
JP3817491B2 (ja) * 2002-03-28 2006-09-06 株式会社第一興商 携帯ブラウザホンで表示しているWebページ画像を中継装置を介して汎用表示装置に拡大表示する方法、携帯ブラウザホン用のプログラム、中継装置
JP2004240279A (ja) 2003-02-07 2004-08-26 Toshiba Corp 情報処理装置および画像データ送信方法
JP2004264769A (ja) * 2003-03-04 2004-09-24 Toshiba Corp 情報処理装置およびプログラム
JP2005085057A (ja) 2003-09-10 2005-03-31 Hitachi Ltd コンテンツ表示制御システム
MXPA06009473A (es) * 2004-02-23 2006-12-14 Matsushita Electric Ind Co Ltd Dispositivo de procesamiento de visualizacion.
JP2005311776A (ja) * 2004-04-22 2005-11-04 Hitachi Ltd 映像再生装置
WO2006104036A1 (ja) * 2005-03-28 2006-10-05 Matsushita Electric Industrial Co., Ltd. 記憶装置
GB0516710D0 (en) * 2005-08-13 2005-09-21 Newnham Res Ltd A display device
JP2007088933A (ja) * 2005-09-22 2007-04-05 Matsushita Electric Ind Co Ltd 映像再生装置及び映像再生方法
US20100180095A1 (en) * 2005-12-02 2010-07-15 Matsushita Electric Industrial Co., Ltd. Buffer control device and buffer memory device
JP4920283B2 (ja) * 2006-03-30 2012-04-18 シャープ株式会社 受信装置、通信システム
KR100788698B1 (ko) * 2006-07-13 2007-12-26 삼성전자주식회사 디스플레이 서비스 방법 및 그 방법을 수행할 수 있는네트워크 디바이스와 저장 매체
JP5014259B2 (ja) * 2008-05-30 2012-08-29 パナソニック株式会社 表示制御装置および表示制御方法

Also Published As

Publication number Publication date
CN101889444A (zh) 2010-11-17
US8421808B2 (en) 2013-04-16
CN101889444B (zh) 2013-01-02
WO2009144959A1 (ja) 2009-12-03
US20100245371A1 (en) 2010-09-30
JP2009289205A (ja) 2009-12-10

Similar Documents

Publication Publication Date Title
JP5014259B2 (ja) 表示制御装置および表示制御方法
KR102210369B1 (ko) 멀티-스크린 애플리케이션들 위한 스크린캐스팅
US20220011929A1 (en) Display Method And Display Apparatus
US20100306643A1 (en) Methods and Systems for Processing Document Object Models (DOM) to Process Video Content
JP4789979B2 (ja) 端末装置及びデータ処理方法
US20130147787A1 (en) Systems and Methods for Transmitting Visual Content
US11470387B2 (en) Methods, systems, and media for remote rendering of Web content on a television device
WO2008000179A1 (en) A method and a device for displaying captions
CN107257510B (zh) 视频统一播放方法、终端及计算机可读存储介质
TW201344465A (zh) 視訊播放系統中的選擇性硬體加速
WO2007018102A1 (ja) 携帯型情報機器及び携帯型情報機器の表示方法
JP2013073506A (ja) 画像処理装置、その制御方法、及びプログラム
US20130246510A1 (en) Remote control system, client device, and server device
JP5147378B2 (ja) 画像表示装置
US20080228856A1 (en) Information processing device detecting operation, electronic equipment and storage medium storing a program related thereto
US7843437B1 (en) Hand-held browser transcoding
KR20120099931A (ko) 브라우징 방법, 디바이스, 및 컴퓨터로 읽을 수 있는 저장 매체
KR100833294B1 (ko) 웹정보 제공 시스템 및 서버 시스템 및 운용방법
JP5923495B2 (ja) 再生装置
CN108235144B (zh) 播放内容获取方法、装置及计算设备
JP2008098741A (ja) テロップ生成装置およびテロップ合成方法
JP2007011787A (ja) 映像機器および表示制御方法
KR101650203B1 (ko) 웹 페이지에 포함된 동영상을 처리하는 이동통신 단말기 및 그 제어방법
JP2010130637A (ja) データ放送受信機及びデータ放送システム
CN112287263A (zh) 网页显示方法、装置、系统及终端、计算机可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100413

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120515

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120605

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5014259

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees