JP6891811B2 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents
情報処理装置、および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP6891811B2 JP6891811B2 JP2017544509A JP2017544509A JP6891811B2 JP 6891811 B2 JP6891811 B2 JP 6891811B2 JP 2017544509 A JP2017544509 A JP 2017544509A JP 2017544509 A JP2017544509 A JP 2017544509A JP 6891811 B2 JP6891811 B2 JP 6891811B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- resolution
- graphic
- graphic data
- script
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 90
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000013515 script Methods 0.000 claims description 258
- 238000012545 processing Methods 0.000 claims description 244
- 238000000034 method Methods 0.000 claims description 205
- 230000008569 process Effects 0.000 claims description 203
- 238000006243 chemical reaction Methods 0.000 claims description 48
- 239000002131 composite material Substances 0.000 claims description 39
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 230000009467 reduction Effects 0.000 description 10
- 238000011946 reduction process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/391—Resolution modifying circuits, e.g. variable screen formats
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/393—Arrangements for updating the contents of the bit-mapped memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2350/00—Solving problems of bandwidth in display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
今後、さらに高画質化が進み、超高精細画像(UHD:Ultra High Definition画像)、例えば画素数を増加させた4K画像や、8K画像の利用が増加することが予想される。
このようなサービスを実現する一つの構成として、テレビ等の受信装置におけるブラウザの利用がある。
なお、ブラウザを利用した画像表示処理に関する従来技術を開示した文献として、例えば、特許文献1(特開2007−133898号公報)、特許文献2(特開2015−099340号公報)等がある。
近年、より大きな画像サイズである1920×1080画素(Hybridcast)の画像サイズのブラウザも実用化されつつある。
例えば、
(a)1920×1080画素の画像出力機能を持つ2Kプラウザを搭載したテレビ、
(b)3840×2160画素の画像出力機能を持つ4Kプラウザを搭載したテレビ、
これらの異なるブラウザを備えたテレビが販売されている。
さらに、今後は、
(c)7680×4320画素の画像出力機能を持つ8Kプラウザを搭載したテレビも開発され、利用される可能性がある。
グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
前記グラフィック描画データ生成部は、スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、
前記合成部は、前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成する情報処理装置にある。
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
前記グラフィック描画データ生成部が、
スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、
前記合成部は、
前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成する情報処理方法にある。
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
前記プログラムは、
前記グラフィック描画データ生成部に、
スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成させ、
前記合成部に、
前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成させるプログラムにある。
具体的には、グラフィック描画データ生成部が、HTML文書内に記述されたスクリプトに従ってグラフィックデータの生成処理を行なう際、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成して描画メモリに格納する。画像変換部が、描画メモリ内の低解像度グラフィックデータを拡大して高解像度グフィックデータと同一のサイズに変換した後、その他の高解像度画像データ等と合成して出力する。
本構成により、高解像度の画像データに、スクリプトに従って生成した低解像度グラフィックデータを合成して表示する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.通信システムの構成例について
2.受信装置におけるブラウザを利用した画像出力例について
3.受信装置におけるブラウザを利用した画像出力処理における問題点について
4.受信装置におけるブラウザを利用した画像出力処理の問題点を解決した構成例について
5.本開示の情報処理装置(受信装置)の実行する処理のシーケンスについて
6.グラフィックデータ描画処理に際して解像度低下処理の要否判定を実行して判定結果に応じた処理を行なう実施例について
7.情報処理装置の構成例について
8.本開示の構成のまとめ
まず、図1を参照して本開示の処理を実行する通信システムの一構成例について説明する。
図1に示すように、通信システム10は、画像データや音声データ等のコンテンツを送信する通信装置である送信装置20と、送信装置20の送信するコンテンツを受信する通信装置である受信装置30を有する。
一方、受信装置30は、一般ユーザのクライアント装置であり、具体的には、例えばテレビ31、PC32、携帯端末33等によって構成される。
なお、図1では、送信装置20の例として、放送サーバ(放送局)21、広告サーバ22、データ配信サーバ23を区別して記載しているが、1つのサーバが放送番組、広告、その他のデータをすべて送信する構成もある。
具体的には、例えば、HTML(Hyper Text Markup Language)ファイル、その他の画像データ、アプリケーションプログラム(スクリプト)等の様々なデータを送信する。
次に、図2以下を参照して、テレビや携帯端末等の受信装置30におけるブラウザを利用した画像出力例について説明する。
放送局等の送信装置20からは、通常の番組コンテンツに併せて、ブラウザを利用した表示データを生成するために利用される様々なデータが受信装置30に送信される。
例えばHTML文書ファイル、画像ファイル、音声ファイル、さらに、アニメーション表示処理等のプログラム実行機能をブラウザ上で実行可能なJava(登録商標)スクリプト等のスクリプトファイル等が送信される。
通常の番組コンテンツは、一旦、図に示す文字、画像データ描画メモリ101に格納される。
送信装置20から送信される番組コンテンツを構成する画像、文字、音声等の各データは、圧縮符号化データであり、受信装置30は、この符号化データを復号する処理を実行し、復号結果を文字、画像データ描画メモリ101に格納する。
アプリケーション実行部102は、送信装置20から受信したHTML文書ファイルを解析して、HTML文書ファイルの記述に従った出力データを生成する。
具体的には、例えばHTML文書に含まれるスクリプトに記述された座標データを適用して算出される2次元(2D)、あるいは3次元(3D)の図形データ等の表示用データである。
図2には、矩形、半円状のグラフィックデータを生成するスクリプトを利用した例を示している。
図2に示す矩形、半円状のグラフィックデータを生成するスクリプトには、例えば矩形形状の描画データを生成するための矩形形状を規定する頂点座標データや、輪郭線の色、態様(実線、点線等)、輪郭内の描画態様(塗りつぶし色など)の様々な描画指定情報(描画命令、描画コマンド等も呼ばれる)が含まれる。
次に、図3以下を参照して、テレビや携帯端末等の受信装置30におけるブラウザを利用した画像出力処理における問題点について説明する。
しかし、近年、より大きな画像サイズである1920×1080画素(Hybridcast)の画像サイズのブラウザが実用化されつつある。
このような低機能なリソースを利用して上述した4Kブラウザや、8Kブラウザを用いて画像表示を行おうとしても、滑らかな表示ができない可能性が高くなる。
次に、上述した問題点を解決し、受信装置におけるブラウザを利用した画像出力処理を、より確実に実行する構成例について説明する。
図4に示す例も、図3を参照して説明した例と同様、放送局等の送信装置20から受信装置30に送信される番組コンテンツが4K、あるいは8Kの高解像度画像であり、また、送信装置20が、番組コンテンツとともに受信装置30に送信するHTML文書ファイルに記録されたスクリプトも4K、あるいは8Kの高解像度グラフィックデータ描画処理用のスクリプトである場合の例である。
図5は、受信装置30が、送信装置20から受信するHTML文書ファイルに基づいて、番組コンテンツと、グラフィックデータからなる合成画像を生成して表示部に表示する構成を示している。
HTML文書の一例を図6に示す。
HTML文書は、図6に示すように、例えば、
(a)スタイルシート301、
(b)スクリプト302、
(c)ボディ303、
これらの構成要素を持つ。
スタイルシート301は例えばCSS(Cascading Style Sheet)言語を利用したスタイルシートとして構成される。
CSSを利用したスタイルシートを適用することで、例えば表示情報に動きを加えたアニメーション、いわゆるCSSアニメーションの表示も可能となる。
なお、スクリプト302は、ブラウザ上で実行可能なプログラムであり、具体的にはJava(登録商標)スクリプトなどがある。
スクリプトには、様々な種類があり、グラフィックデータの生成のみならず、2次元画像データや3次元画像データの生成、出力処理、アニメーショングラフッィクデータ等の生成、出力処理等、様々な処理を実行するスクリプトがある。
図に示すように、例えば、文字データ情報311、動画データ情報312、静止画データ情報313、グラフィックデータ情報314等が記録される。
前述したように、スタイルシート301は、ブラウザ画面に表示する各構成要素(テキスト、静止画、動画、グラフィックデータ等)の配置やデザインを規定するデータである。
図7には、スタイルシートの一部構成を示している。
スタイルシートには、例えば、図7に示すように、
輪郭線情報321、領域情報322、背景色情報323、マージン情報324等の情報等が含まれる。
図7に示す例は、例えばブラウザ画面の一部の矩形領域を規定した情報である。例えばテキストの表示領域の規定情報等に対応する。
領域情報322は、幅200ピクセル、高さ50ピクセルの矩形領域を規定している。
背景色情報323は、ゴールドを規定している。
マージン情報324は、50ピクセルのマージンを規定している。
テキストは、図6に示すHTML文書のボディ303に記録されたテキストである。
また、前述したアニメーション表示を実現するCSSスタイルシート等、様々なスタイルシートがある。
スクリプト302は、先に図2、図3を参照して説明したように、例えばグラフィックデータの生成プログラムである。
前述したように、スクリプト302は、ブラウザ上で実行可能なプログラムであり、具体的にはJava(登録商標)スクリプトなどがある。
また、スクリプトは、グラフィックデータの生成のみならず、3次元画像データの生成、出力処理、アニメーショングラフッィクデータの生成、出力処理等、様々な処理を実行するスクリプトがある。
図8に示す例は、2次元(2D)グラフィックデータの生成処理を実行するスクリプトの例である。
図8に示す2次元(2D)グラフィックデータの生成処理実行スクリプトは、例えば以下のような描画命令によって構成される。
(a)context.fillRect(200,400,500,1000)
(b)context.strokeStyle=rgb(00,00,255)
(c)context.fillStyle=rgb(255,00,00)
(d)context.strokeRect(2000,800,1000,500)
(e)context.arc(1500,750,600,Math.PI*1,Math.PI*2,true)
この記述は、四角形の描画命令であり、左から200(ピクセル)、上から400(ピクセル)の位置を起点として、幅500(ピクセル)、高さ1000(ピクセル)の四角形を描画することを指示する記述である。
この記述は、上記の(a)で指定された四角形の枠の色(RGB)を指定するデータであり、B=255、すなわち青色の四角形枠線を描画することを指示する記述である。
この記述は、上記の(a)で指定された四角形内の塗りつぶしの色(RGB)を指定するデータであり、R=255、すなわち四角形の中を赤色で塗りつぶすことを指示する記述である。
この記述は、四角形の枠線の描画命令であり、左から2000(ピクセル)、上から800(ピクセル)の位置を起点として、幅1000(ピクセル)、高さ500(ピクセル)の四角形の枠線を描画することを指示する記述である。
この記述は、半円の描画命令であり、左から1500(ピクセル)、上から750(ピクセル)の位置を起点として、半径600(ピクセル)の半円を反時計回り(左回り)で描画することを指示する記述である。
受信装置のアプリケーション(スクリプト)実行部は、このようなスクリプトの記述を解釈して、グラフィックデータの描画、表示処理を実行する。
図9、図10に3次元(3D)グラフィックデータの描画処理を実行させるスクリプトの例を示す。
(a)表示領域情報451、
(b)カメラ位置情報452、
(c)レンダラ情報453、
(d)光源位置情報454、
(e)表示オブジェクト情報454、
(f)アニメーション表示情報457、
HTML文書処理部201は、図6を参照して説明した構成を持つHTML文書の解析処理を実行する。
このレイアウト処理においては、レイアント処理用メモリ203が利用される。
描画結果は、文字、画像データ描画メモリ205内に、個別に記録される。
文字データの描画結果は、文字描画プレーン211として文字、画像データ描画メモリ205内に格納される。
静止画データの描画結果は、静止画描画プレーン212として文字、画像データ描画メモリ205内に格納される。
動画データの描画結果は、動画描画プレーン213として文字、画像データ描画メモリ205内に格納される。
すなわち、文字、画像データ描画メモリ205内には、高解像度(4K、8K等)の文字、静止画、動画の各データが格納される。
前述したように、スクリプトは、例えば、静止画、動画、音声、2Dデータ、3Dデータ等、様々なデータを生成するプログラムによって構成される。
グラフィックデータ描画処理部(グラフィックレンダラ)223は、アプリケーション実行部(スクリプト実行エンジン)221の処理要求に従って、グラフィックデータを、グラフィックデータ描画メモリ224に記録する。すなわち、グラフィックデータ描画メモリ224にグラフィック描画プレーンを生成する。
なお、グラフィックデータ描画メモリ224には、レイアウト処理部202によって配置が決定された領域にグラフィック描画プレーンが描画される。
この座標系の変換処理は、図5に示すグラフィック描画データ生成部220内のアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかで行う。
画像変換部231は、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンを元のHTML文書に記録されたスクリプトに従った高解像度のグラフィックデータに相当する大きさのグラフィックデータに拡大する画像拡大処理を実行する。
文字描画プレーン211、
静止画描画プレーン212、
動画描画プレーン213、
これらの各描画プレーンと、
画像変換部231において拡大処理がなされたグラフィック描画プレーンとの合成処理を実行する。
文字描画プレーン211、
静止画描画プレーン212、
動画描画プレーン213、
これらの各描画プレーンと、
画像変換部231において拡大処理がなされた低解像度のグラフィック描画プレーンとの合成処理を実行する。
前述したように、レイアウト処理部202は、HTML(Hyper Text Markup Language)内に記述されたスタイルシートに従ったレイアウト決定を行う。合成部232は、このレイアウト処理部202の決定したレイアウトに従って生成された複数の異なる描画プレーンの合成処理を実行する。
表示部250の表示画像は、例えば、図4に示す出力画像50に相当する画像である。
2つの矩形画像と、1つの半円形画像が、HTML文書に記録されたスクリプトを実行して得られるグラフィックデータである。
これらのグラフィックデータは、描画処理過程において、解像度を低下させて生成した描画データ(グラフィック描画プレーン)を、HTML文書のオリジナルのスクリプトに従った解像度相当の大きさまで拡大して得られたグラフィックデータである。
その他の出力データは、HTML文書に従って得られるオリジナルの高解像度画像となる。
その後、低解像度のグラフィック描画プレーンの拡大処理を実行して、元のHTML文書に記録されたスクリプトに従った解像度のグラフィック描画プレーンと同じ大きさのグラフィック描画プレーンを生成して、他の高解像度の画像、文字等の描画プレーンに重畳して表示する。
従って、データ処理能力が低く、またデータ記録用のメモリ容量の小さいテレビ等の装置においても、スクリプトの実行によって生成されるグラフィックデータを含む合成画像の出力を遅延なく確実に実行することが可能となる。
図5に示すグラフィック描画データ生成部におけるグラフィックデータ生成時の解像度低下を伴うグラフィックデータの生成、描画処理は、HTML文書のスクリプト記述に従った解像度より低い解像度のグラフィックデータを生成して描画する処理であり、様々な解像度の組み合わせが可能である。
このように、本開示の処理は、元のHTML文書のスクリプト記述に従った解像度を持つグラフィックデータより低い様々な解像度のグラフィックデータの生成を行う構成を含むものである。
次に、図11以下に示すフローチャートを参照して、本開示の情報処理装置(受信装置)の実行する処理のシーケンスについて説明する。
受信装置30は、図11に示す処理シーケンスに従った処理の手順を記録したプログラムを記憶部に格納し、プログラム実行機能を持つCPU等を有するデータ処理部がプログラムを実行して、図11に示すフローに従った処理を実行する。
なお、データ処理部は、例えば先に図5を参照して説明した各構成部の処理を実行する機能を有する。
以下、図11に示すフローチャートの各ステップの処理について、順次、説明する。
受信装置のデータ処理部は、まず、ステップS101において、HTML文書の解析処理を実行する。
この処理は、図5に示すHTML文書処理部201の実行する処理に相当する。
HTML文書は、例えば放送局等の送信装置20から受信したHTML文書である。
HTML文書は、先に図6を参照して説明したように、例えば、
(a)スタイルシート301、
(b)スクリプト302、
(c)ボディ303、
これらの構成要素を持つ。
次に、受信装置のデータ処理部は、ステップS102において、HTML文書に記述されたスタイルシートに従って、受信装置の表示部に表示する表示データのスタイル、すなわち、各構成要素の表示位置等の表示態様(スタイル)を決定する。
この処理は、図5を参照して説明したレイアウト処理部202の実行する処理である。
次に、受信装置のデータ処理部は、ステップS103において、HTML文書の記述に従い、受信装置の表示部に表示する表示データの構成要素である画像、文字等の表示用データを生成する。
この処理は、図5を参照して説明したメディアデータ描画処理部(メディアレンダラ)204の実行する処理である。
描画結果は、図5に示す文字、画像データ描画メモリ205内に、個別に記録される。図5に示すように、
文字データの描画結果は、文字描画プレーン211として文字、画像データ描画メモリ205内に格納される。
静止画データの描画結果は、静止画描画プレーン212として文字、画像データ描画メモリ205内に格納される。
動画データの描画結果は、動画描画プレーン213として文字、画像データ描画メモリ205内に格納される。
すなわち、文字、画像データ描画メモリ205内には、高解像度(4K、8K等)の文字、静止画、動画の各データが格納される。
次に、受信装置のデータ処理部は、ステップS104において、スクリプトの実行によるグラフィックデータの描画処理が必要か否かを判定する。
ステップS101において解析したHTML文書にグラフィックデータの描画処理を実行させるためのスクリプト(ブラウザ上で実行されるプログラム)が含まれるか否かを判定する。
一方、スクリプトの実行によるグラフィックデータの描画処理が必要でないと判定した場合は、ステップS105に進む。
ステップS104において、スクリプトの実行によるグラフィックデータの描画処理が必要でないと判定した場合は、ステップS105に進む。
受信装置のデータ処理部は、ステップS105において、表示データ(高解像度の画像、文字等)を表示用フレームバッファに格納し、表示用フレームバッファの格納画像を表示部に出力して表示する処理を実行する。
文字描画プレーン211、
静止画描画プレーン212、
動画描画プレーン213、
これらの描画プレーンを、図5に示す表示用フレームバッファ233に格納し、表示用フレームバッファ233の格納画像を表示部250に出力して表示する処理を実行する。
一方、ステップS104において、スクリプトの実行によるグラフィックデータの描画処理が必要であると判定した場合は、ステップS111に進む。
受信装置のデータ処理部は、ステップS111において、グラフィックデータ描画処理用のスクリプト関連データを、図5に示すアプリケーション実行部(スクリプト実行エンジン)221に出力する。
すなわち、図5に示すアプリケーション実行部(スクリプト実行エンジン)221に、HTML文書処理部201によって解析されたHTML文書中のスクリプトデータ、およびスクリプトの実行に必要となる各データが入力される。
次に、アプリケーション実行部(スクリプト実行エンジン)221は、ステップS112において、これらの入力データに基づいてスクリプトを実行する。アプリ実行用ワークメモリ222をワークエリアとして利用してスクリプトを実行する。
スクリプトは、例えば、図4中のグラフィックデータ描画メモリ103内に示すグラフィックデータを出力するプログラムである。
ステップS113において、図5に示すグラフィックデータ描画処理部(グラフィックレンダラ)223が、アプリケーション実行部(スクリプト実行エンジン)221の処理要求に従って、グラフィックデータを、グラフィックデータ描画メモリ224に記録する。すなわち、グラフィックデータ描画メモリ224にグラフィック描画プレーンを生成する。
2K等の低解像度グラフィツクデータ(グラフィック描画プレーン)を生成するためには、HTML文書のスクリプトに記載された高解像度対応の座標指定情報を、低解像度対応の座標指定情報に変換して、グラフィックデータを描画する処理を行なうことが必要となる。
例えば、図5に示すアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかにおいて、HTML文書に記録された高解像度グラフィックデータの描画処理用のスクリプトに記録された高解像度データ対応の座標データを低解像度データ対応の座標データに変換する処理を行なう。
この変換後の座標データに従って描画処理を実行することで、グラフィックデータ描画メモリ224には、低解像度のグラフィックデータ(グラフィック描画プレーン)が記録される。
次のステップS114の処理は、図5に示す画像変換部231の処理である。
画像変換部231は、ステップS114において、グラフィックデータ描画メモリ224に格納された低解像度グラフィックデータの画像拡大処理を実行する。
すなわち、グラフィックデータ描画メモリ224に格納された低解像度グラフィックデータを、HTML文書に記述されたスクリプトに従って生成される元の高解像度画像の表示態様に応じた大きさに変換する処理を実行する。
次のステップS115の処理は、図5に示す合成部232の実行する処理である。
合成部232は、文字、画像データ描画メモリ205に格納された文字、静止画、動画各々に対応する表示部出力用データである描画プレーン、すなわち、
文字描画プレーン211、
静止画描画プレーン212、
動画描画プレーン213、
これらの各描画プレーンと、
画像変換部231において拡大処理がなされたグラフィック描画プレーンとの合成処理を実行する。
文字描画プレーン211、
静止画描画プレーン212、
動画描画プレーン213、
これらの各描画プレーンと、
画像変換部231において拡大処理がなされた低解像度のグラフィック描画プレーンとの合成処理を実行する。
合成部232が、ステップS115における合成処理の結果として生成した合成画像は、ステップS116において、図5に示す表示用フレームバッファ233に格納され、表示部250に出力される。
2つの矩形画像と、1つの半円形画像が、HTML文書に記録されたスクリプトを実行して得られるグラフィックデータである。
これらのグラフィックデータは、描画処理過程において、解像度を低下させて生成した描画データ(グラフィック描画プレーン)を、HTML文書のオリジナルのスクリプトに従った解像度相当の大きさまで拡大して得られたグラフィックデータである。
その他の出力データは、HTML文書に従って得られるオリジナルの高解像度画像となる。
HTML文書に記録されたスクリプトを実行して得られるグラフィックデータを、解像度を低下させたグラフィック描画プレーンとして生成し、その後、低解像度のグラフィック描画プレーンの拡大処理を実行して、元のHTML文書に記録されたスクリプトに従った解像度のグラフィック描画プレーンと同じ大きさのグラフィック描画プレーンを生成して、他の高解像度の画像、文字等の描画プレーンに重畳して表示する。
従って、データ処理能力が低く、またデータ記録用のメモリ容量の小さいテレビ等の装置においても、スクリプトの実行によって生成されるグラフィックデータを含む合成画像の出力を遅延なく確実に実行することが可能となる。
本開示のには、元のHTML文書のスクリプト記述に従った解像度を持つグラフィックデータより低い様々な解像度のグラフィックデータを生成する処理が含まれる。
上述した実施例では、受信装置30は、グラフィックデータ描画処理に際して、すべて解像度の低下処理を行ない、低解像度のグラフィックデータを描画する構成として説明した。
次に、グラフィックデータ描画処理に際して解像度低下処理の要否判定を実行して判定結果に応じた処理を行なう実施例について
このような場合は、グラフィックデータの描画処理において解像度の低下処理を行なうことなくHTML文書に記述されたスクリプトをそのまま実行して、高解像度のグラフィック描画プレーンを生成してグラフィックデータ描画メモリに格納する構成としてもよい。
(判定処理)情報処理装置(受信装置30)の利用可能なリソース(データ処理能力、メモリ容量)が、HTML文書に記述されたスクリプトによるグラフィックデータの描画処理を実行する十分なリソースであるか否かを判定する。
この場合、図5に示す画像変換部231は、画像拡大等の画像変換を実行せず、グラフィック描画メモリ224に格納された高解像度のグラフィック描画プレーンをそのまま合成部232に出力する。
この場合、図5に示す画像変換部231は、画像拡大等の画像変換を実行する。すなわち、グラフィック描画メモリ224に格納された低解像度のグラフィック描画プレーンを、高解像度のグラフィックデータに相当する画像サイズに拡大し、拡大データを合成部232に出力する。
例えば情報処理装置(受信装置30)は、グラフィックデータの描画処理に並行して、グラフィックデータの描画処理以外のその他のデータ処理も行われる。このようなその他のデータ処理の負荷が大きいと、グラフィックデータの描画処理に割り当て可能なリソースは少なくなる。
受信装置30は、図12〜図13に示す処理シーケンスに従った処理の手順を記録したプログラムを記憶部に格納し、プログラム実行機能を持つCPU等を有するデータ処理部においてプログラムを実行して、図12〜図13に示すフローに従った処理を実行する。
なお、データ処理部は、例えば先に図5を参照して説明した各構成部の処理を実行する機能を有する。
以下、図12、図13に示すフローチャートの各ステップの処理について、順次、説明する。
ステップS201〜S204の処理は、先に図11に示すフローチャートを参照して説明したステップS101〜S104の処理と同じ処理である。
これらの処理をまとめて説明する。
この処理は、図5に示すHTML文書処理部201の実行する処理に相当する。
この処理は、図5を参照して説明したレイアウト処理部202の実行する処理である。
この処理は、図5を参照して説明したメディアデータ描画処理部(メディアレンダラ)204の実行する処理である。
描画処理は、例えば放送番組を構成する文字、静止画、動画、それぞれ個別に行われる。
描画結果は、図5に示す文字、画像データ描画メモリ205内に、個別に記録される。図5に示すように、
文字データの描画結果は、文字描画プレーン211として文字、画像データ描画メモリ205内に格納される。
静止画データの描画結果は、静止画描画プレーン212として文字、画像データ描画メモリ205内に格納される。
動画データの描画結果は、動画描画プレーン213として文字、画像データ描画メモリ205内に格納される。
ステップS201において解析したHTML文書にグラフィックデータの描画処理を実行させるためのスクリプト(ブラウザ上で実行されるプログラム)が含まれるか否かを判定する。
一方、スクリプトの実行によるグラフィックデータの描画処理が必要でないと判定した場合は、ステップS205に進む。
ステップS204において、スクリプトの実行によるグラフィックデータの描画処理が必要でないと判定した場合は、ステップS205に進む。
受信装置のデータ処理部は、ステップS205において、表示データ(高解像度の画像、文字等)を表示用フレームバッファに格納し、表示用フレームバッファの格納画像を表示部に出力して表示する処理を実行する。
文字描画プレーン211、
静止画描画プレーン212、
動画描画プレーン213、
これらの描画プレーンを、図5に示す表示用フレームバッファ233に格納し、表示用フレームバッファ233の格納画像を表示部250に出力して表示する処理を実行する。
ステップS211の処理は、先に図11に示すフローチャートを参照して説明したステップS111の処理と同じ処理である。
ステップS204において、スクリプトの実行によるグラフィックデータの描画処理が必要であると判定した場合は、ステップS211に進む。
受信装置のデータ処理部は、ステップS211において、グラフィックデータ描画処理用のスクリプト関連データを、図5に示すアプリケーション実行部(スクリプト実行エンジン)221に出力する。
ステップS212において、情報処理装置(受信装置30)のデータ処理部は、グラフィックデータの描画処理に際して、HTML文書のスクリプト記述に従った解像度を持つグラフィックデータではなく、解像度を低下させたグラフィックデータを描画する必要性があるか否かを判定する。
(判定処理)情報処理装置(受信装置30)の利用可能なリソース(データ処理能力、メモリ容量)が、HTML文書に記述されたスクリプトによるグラフィックデータの描画処理を実行する十分なリソースであるか否かを判定する。
例えば、他のデータ処理負荷が大きいときは、上記の判定処理に適用する「規定サイズ」を小さく設定し、他のデータ処理負荷が小さいときは、上記の「規定サイズ」を大きく設定する等の対応が可能である。
解像度を低下させたグラフィックデータを描画する必要性がないと判定した場合は、ステップS221に進む。
一方、解像度を低下させたグラフィックデータを描画する必要性があると判定した場合は、ステップS231に進む。
ステップS212において、解像度を低下させたグラフィックデータを描画する必要性がないと判定した場合は、ステップS221に進む。
図5に示すアプリケーション実行部(スクリプト実行エンジン)221は、ステップS221において、スクリプトを実行する。アプリケーション実行部(スクリプト実行エンジン)221は、アプリ実行用ワークメモリ222をワークエリアとして利用してスクリプトを実行する。
なお、ステップS221〜S222においては、解像度の低下処理を行なわなずにスクリプトの記述に従った解像度を持つグラフィックデータの描画処理を行う。
ステップS222において、図5に示すグラフィックデータ描画処理部(グラフィックレンダラ)223が、アプリケーション実行部(スクリプト実行エンジン)221の処理要求に従って、グラフィックデータを、グラフィックデータ描画メモリ224に記録する。すなわち、グラフィックデータ描画メモリ224にグラフィック描画プレーンを生成する。
グラフィックデータ描画メモリ224には、スクリプトの記述通りの高解像度のグラフィック描画プレーンが生成される。
次に、ステップS212において、解像度を低下させたグラフィックデータを描画する必要性があると判定した場合の処理であるステップS231〜S233の処理について説明する。
前述したように、HTML文書に記録されたスクリプトは、高解像度グラフィックデータの描画処理用のスクリプトであり、例えばグラフィックデータの描画領域等を指定する座標は、4Kや8K等の高解像度対応の座標系で表現されている。
2K等の低解像度グラフィツクデータ(グラフィック描画プレーン)を生成するためには、HTML文書のスクリプトに記載された高解像度対応の座標指定情報を、低解像度対応の座標指定情報に変換して、グラフィックデータを描画する処理を行なうことが必要となる。
例えば、図5に示すアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかにおいて、HTML文書に記録された高解像度グラフィックデータの描画処理用のスクリプトに記録された高解像度データ対応の座標データを低解像度データ対応の座標データに変換する処理を行なう。
この変換後の座標データに従って描画処理を実行することで、グラフィックデータ描画メモリ224には、低解像度のグラフィックデータ(グラフィック描画プレーン)が記録される。
ステップS232において、図5に示すグラフィックデータ描画処理部(グラフィックレンダラ)223が、アプリケーション実行部(スクリプト実行エンジン)221の処理要求に従って、グラフィックデータを、グラフィックデータ描画メモリ224に記録する。すなわち、グラフィックデータ描画メモリ224にグラフィック描画プレーンを生成する。
2K等の低解像度グラフィツクデータ(グラフィック描画プレーン)を生成するためには、HTML文書のスクリプトに記載された高解像度対応の座標指定情報を、低解像度対応の座標指定情報に変換して、グラフィックデータを描画する処理を行なうことが必要となる。
例えば、図5に示すアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかにおいて、HTML文書に記録された高解像度グラフィックデータの描画処理用のスクリプトに記録された高解像度データ対応の座標データを低解像度データ対応の座標データに変換する処理を行なう。
この変換後の座標データに従って描画処理を実行することで、グラフィックデータ描画メモリ224には、低解像度のグラフィックデータ(グラフィック描画プレーン)が記録される。
次のステップS233の処理は、図5に示す画像変換部231の処理である。
画像変換部231は、ステップS233において、グラフィックデータ描画メモリ224に格納された低解像度グラフィックデータの画像拡大処理を実行する。
すなわち、グラフィックデータ描画メモリ224に格納された低解像度グラフィックデータを、HTML文書に記述されたスクリプトに従って生成される元の高解像度画像の表示態様に応じた大きさに変換する処理を実行する。
ステップS221〜S222における解像度の低下処理を伴わない高解像度グラフィックデータ(高解像度グラフィック描画プレーン)の描画処理、
または、ステップS231〜S233における解像度の低下処理による低解像度グラフィックデータ(低解像度グラフィック描画プレーン)の描画処理、
これらいずれかの処理が完了すると、ステップS241の処理を実行する。
合成部232は、文字、画像データ描画メモリ205に格納された文字、静止画、動画各々に対応する表示部出力用データである描画プレーン、すなわち、
文字描画プレーン211、
静止画描画プレーン212、
動画描画プレーン213、
これらの各描画プレーンと、
画像変換部231において拡大処理がなされたグラフィック描画プレーンとの合成処理を実行する。
ステップS221〜S222の処理が実行されている場合は、HTML文書のスクリプト記述に従った高解像度のグラフィック描画プレーンである。
また、ステップS231〜S233の処理が実行されている場合は、HTML文書のスクリプト記述に従った高解像度のグラフィック描画プレーンではなく、解像度を低下させた低解像度のグラフィック描画プレーンの拡大データである。この場合、解像度は低いが、画像の大きさは、HTML文書に記録されたスクリプトを実行して得られるオリジナル解像度のグラフィック描画プレーンと同一の大きさを有する。
文字描画プレーン211、
静止画描画プレーン212、
動画描画プレーン213、
これらの各描画プレーンと、
ステップS221〜S222の処理によって生成された高解像度グラフィック描画プレーン、
または、ステップS231〜S233の処理によって生成された拡大された低解像度のグラフィック描画プレーン、
いずれかのグラフィック描画プレーンとの合成処理を実行する。
合成部232が、ステップS241における合成処理の結果として生成した合成画像は、ステップS242において、図5に示す表示用フレームバッファ233に格納され、表示部250に出力される。
また、情報処理装置(受信装置30)のデータ処理状況に応じて変化するリソース状況を考慮した処理を行なうことが好ましい。
いずれの場合も、スクリプトの実行によって生成されるグラフィックデータを含む合成画像の出力を遅延なく確実に実行することが可能となる。
次に、上述した処理を実行する情報処理装置(受信装置30)の装置構成例について、図14を参照して説明する。
図14は、情報処理装置(受信装置30)として適用可能な通信装置のハードウェア構成例を示している。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
前記グラフィック描画データ生成部は、スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、
前記合成部は、前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成する情報処理装置。
画像変換部が、前記グラフィックデータ描画メモリに格納された低解像度グラフィックデータを、前記スクリプトの記述に従った解像度相当の高解像度グラフィックデータのサイズに一致させるデータ拡大処理を実行し、
前記合成部は、前記画像変換部によって拡大された低解像度グラフィックデータを用いて表示部出力用の合成画像を生成する(1)に記載の情報処理装置。
HTML(Hyper Text Markup Language)文書内に記述されたスクリプトに従ったグラフィックデータの生成処理を実行する(1)または(2)に記載の情報処理装置。
前記スクリプトに記述された高解像度対応の座標系を低解像度対応の座標系に変換して、前記低解像度グラフィックデータを生成する(1)〜(3)いずれかに記載の情報処理装置。
ブラウザ上に2次元(2D)グラフィックデータを描画するスクリプトの仕様である「canvas」に従った高解像度対応の座標データ、あるいはブラウザ上に3次元(3D)グラフィックデータを描画するスクリプトの仕様である「WebGL」に従った高解像度対応の座標データを低解像度対応の座標データに変換して、前記低解像度グラフィックデータを生成する(1)〜(4)いずれかに記載の情報処理装置。
スクリプトの記述に従った描画命令を出力するアプリケーション実行部と、
前記アプリケーション実行部の出力する描画命令に従った描画処理を実行するグラフィックデータ描画処理部を有する(1)〜(5)いずれかに記載の情報処理装置。
HTML(Hyper Text Markup Language)文書内に記述されたスタイルシートに従ったレイアウト決定を行うレイアウト処理部を有し、
前記合成部は、前記レイアウト処理部の決定したレイアウトに従って生成された複数の異なる描画プレーンの合成処理を実行する(1)〜(7)いずれかに記載の情報処理装置。
ブラウザ上に表示するグラフィックデータの生成処理を実行する(1)〜(8)いずれかに記載の情報処理装置。
ブラウザ上に表示する合成画像の生成処理を実行する(1)〜(9)いずれかに記載の情報処理装置。
前記情報処理装置の利用可能なリソースが、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースであるか否かを判定し、
利用可能リソースが十分なリソースであると判定した場合は、前記スクリプトの記述に従った高解像度グラフィックデータを生成し、
利用可能リソースが十分なリソースでないと判定した場合には、前記スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成する(1)〜(10)いずれかに記載の情報処理装置。
前記スクリプトの記述に従って生成するグラフィックデータのサイズに応じて、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースを利用可能か否かの判定処理を実行する(11)に記載の情報処理装置。
前記情報処理装置のリソース利用状況に応じて、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースを利用可能か否かの判定処理を実行する(11)または(12)に記載の情報処理装置。
送信装置から受信したHTML(Hyper Text Markup Language)文書の解析処理を実行するHTML文書処理部を有し、
前記グラフィック描画データ生成部は、
前記HTML文書処理部において解析されたHTML文書に含まれるスクリプトを実行する(1)〜(13)いずれかに記載の情報処理装置。
前記情報処理装置は、
グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
前記グラフィック描画データ生成部が、
スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、
前記合成部は、
前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成する情報処理方法。
前記情報処理装置は、
グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
前記プログラムは、
前記グラフィック描画データ生成部に、
スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成させ、
前記合成部に、
前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成させるプログラム。
具体的には、グラフィック描画データ生成部が、HTML文書内に記述されたスクリプトに従ってグラフィックデータの生成処理を行なう際、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成して描画メモリに格納する。画像変換部が、描画メモリ内の低解像度グラフィックデータを拡大して高解像度グフィックデータと同一のサイズに変換した後、その他の高解像度画像データ等と合成して出力する。
本構成により、高解像度の画像データに、スクリプトに従って生成した低解像度グラフィックデータを合成して表示する構成が実現される。
20 送信装置
21 放送サーバ
22 広告サーバ
23 データ配信サーバ
30 受信装置
31 TV
32 PC
33 携帯端末
50 出力画像
101 文字、画像描画メモリ
102 アプリケーション実行部
103 グラフィックデータ描画メモリ
104 合成出力部
201 HTML文書処理部
202 レイアウト処理部
203 レイアウト処理用メモリ
204 メディアデータ描画処理部(メディアレンダラ)
205 文字、画像データ描画メモリ
211 文字描画プレーン
212 静止画描画プレーン
213 動画描画プレーン
220 グラフィック描画データ生成部
221 アプリケーション実行部(スクリプト実行エンジン)
222 アプリ実行用ワークメモリ
223 グラフィックデータ描画処理部(グラフィックレンダラ)
224 グラフィックデータ描画メモリ(グラフィック描画プレーン)
231 画像本管部
232 合成部
233 表示用フレームバッファ
250 表示部
301 スタイルシート
302 スクリプト
303 ボディ
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア
Claims (14)
- グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
前記グラフィック描画データ生成部は、スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、生成した低解像度グラフィックデータを、グラフィックデータ描画メモリに格納し、
画像変換部が、前記グラフィックデータ描画メモリに格納された低解像度グラフィックデータを、前記スクリプトの記述に従った解像度相当の高解像度グラフィックデータのサイズに一致させるデータ拡大処理を実行し、
前記合成部は、前記画像変換部によって拡大された低解像度グラフィックデータを用いて表示部出力用の合成画像を生成する構成であり、
前記グラフィック描画データ生成部は、
前記スクリプトに記述された高解像度のグラフィックデータの座標系を低解像度のグラフィックデータの座標系に変換し、変換した低解像度のグラフィックデータの座標系に従った描画処理を実行して前記低解像度グラフィックデータを生成し、
前記画像変換部は、
前記グラフィックデータ描画メモリに格納された前記低解像度グラフィックデータを、前記スクリプトに記述された高解像度のグラフィックデータの座標系に従った大きさのグラフィックデータに拡大する画像拡大処理を実行する情報処理装置。 - 前記グラフィック描画データ生成部は、
HTML(Hyper Text Markup Language)文書内に記述されたスクリプトに従ったグラフィックデータの生成処理を実行する請求項1に記載の情報処理装置。 - 前記グラフィック描画データ生成部は、
ブラウザ上に2次元(2D)グラフィックデータを描画するスクリプトの仕様である「canvas」に従った高解像度対応の座標データ、あるいはブラウザ上に3次元(3D)グラフィックデータを描画するスクリプトの仕様である「WebGL」に従った高解像度対応の座標データを低解像度対応の座標データに変換して、前記低解像度グラフィックデータを生成する請求項1〜2いずれかに記載の情報処理装置。 - 前記グラフィック描画データ生成部は、
スクリプトの記述に従った描画命令を出力するアプリケーション実行部と、
前記アプリケーション実行部の出力する描画命令に従った描画処理を実行するグラフィックデータ描画処理部を有する請求項1〜3いずれかに記載の情報処理装置。 - 前記アプリケーション実行部、または、前記グラフィックデータ描画処理部の少なくとも一方が、前記スクリプトに記述された高解像度対応の座標系を低解像度対応の座標系に変換する処理を実行する請求項4に記載の情報処理装置。
- 前記情報処理装置は、
HTML(Hyper Text Markup Language)文書内に記述されたスタイルシートに従ったレイアウト決定を行うレイアウト処理部を有し、
前記合成部は、前記レイアウト処理部の決定したレイアウトに従って生成された複数の異なる描画プレーンの合成処理を実行する請求項1〜5いずれかに記載の情報処理装置。 - 前記グラフィック描画データ生成部は、
ブラウザ上に表示するグラフィックデータの生成処理を実行する請求項1〜6いずれかに記載の情報処理装置。 - 前記合成部は、
ブラウザ上に表示する合成画像の生成処理を実行する請求項1〜7いずれかに記載の情報処理装置。 - 前記グラフィック描画データ生成部は、
前記情報処理装置の利用可能なリソースが、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースであるか否かを判定し、
利用可能リソースが十分なリソースであると判定した場合は、前記スクリプトの記述に従った高解像度グラフィックデータを生成し、
利用可能リソースが十分なリソースでないと判定した場合には、前記スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成する請求項1〜8いずれかに記載の情報処理装置。 - 前記グラフィック描画データ生成部は、
前記スクリプトの記述に従って生成するグラフィックデータのサイズに応じて、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースを利用可能か否かの判定処理を実行する請求項9に記載の情報処理装置。 - 前記グラフィック描画データ生成部は、
前記情報処理装置のリソース利用状況に応じて、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースを利用可能か否かの判定処理を実行する請求項9または10に記載の情報処理装置。 - 前記情報処理装置は、
送信装置から受信したHTML(Hyper Text Markup Language)文書の解析処理を実行するHTML文書処理部を有し、
前記グラフィック描画データ生成部は、
前記HTML文書処理部において解析されたHTML文書に含まれるスクリプトを実行する請求項1〜11いずれかに記載の情報処理装置。 - 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
前記グラフィック描画データ生成部が、
スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、生成した低解像度グラフィックデータを、グラフィックデータ描画メモリに格納し、
画像変換部が、前記グラフィックデータ描画メモリに格納された低解像度グラフィックデータを、前記スクリプトの記述に従った解像度相当の高解像度グラフィックデータのサイズに一致させるデータ拡大処理を実行し、
前記合成部は、前記画像変換部によって拡大された低解像度グラフィックデータを用いて表示部出力用の合成画像を生成する処理を実行し、
前記グラフィック描画データ生成部は、
前記スクリプトに記述された高解像度のグラフィックデータの座標系を低解像度のグラフィックデータの座標系に変換し、変換した低解像度のグラフィックデータの座標系に従った描画処理を実行して前記低解像度グラフィックデータを生成し、
前記画像変換部は、
前記グラフィックデータ描画メモリに格納された前記低解像度グラフィックデータを、前記スクリプトに記述された高解像度のグラフィックデータの座標系に従った大きさのグラフィックデータに拡大する画像拡大処理を実行する情報処理方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
前記プログラムは、
前記グラフィック描画データ生成部に、
スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成させ、生成させた低解像度グラフィックデータを、グラフィックデータ描画メモリに格納させ、
画像変換部に、前記グラフィックデータ描画メモリに格納された低解像度グラフィックデータを、前記スクリプトの記述に従った解像度相当の高解像度グラフィックデータのサイズに一致させるデータ拡大処理を実行させ、
前記合成部に、前記画像変換部によって拡大された低解像度グラフィックデータを用いて表示部出力用の合成画像を生成させ、
前記プログラムは、
前記グラフィック描画データ生成部に、
前記スクリプトに記述された高解像度のグラフィックデータの座標系を低解像度のグラフィックデータの座標系に変換させ、変換した低解像度のグラフィックデータの座標系に従った描画処理を実行して前記低解像度グラフィックデータを生成させ、
前記画像変換部に、
前記グラフィックデータ描画メモリに格納された前記低解像度グラフィックデータを、前記スクリプトに記述された高解像度のグラフィックデータの座標系に従った大きさのグラフィックデータに拡大する画像拡大処理を実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015201101 | 2015-10-09 | ||
JP2015201101 | 2015-10-09 | ||
PCT/JP2016/079518 WO2017061434A1 (ja) | 2015-10-09 | 2016-10-04 | 情報処理装置、および情報処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017061434A1 JPWO2017061434A1 (ja) | 2018-07-26 |
JP6891811B2 true JP6891811B2 (ja) | 2021-06-18 |
Family
ID=58487726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017544509A Active JP6891811B2 (ja) | 2015-10-09 | 2016-10-04 | 情報処理装置、および情報処理方法、並びにプログラム |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3361739A4 (ja) |
JP (1) | JP6891811B2 (ja) |
WO (1) | WO2017061434A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112433261A (zh) * | 2020-11-25 | 2021-03-02 | 猫岐智能科技(上海)有限公司 | 扫描成像监测系统及方法以及电动车入梯扫描成像监测系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8306386B2 (en) * | 2004-12-01 | 2012-11-06 | Panasonic Corporation | Reproduction device, image synthesis method, image synthesis program, and integrated circuit |
JP2007057586A (ja) * | 2005-08-22 | 2007-03-08 | Sony Corp | 画像処理装置、画像処理方法及びテレビ受信機 |
JP5322529B2 (ja) * | 2008-07-29 | 2013-10-23 | キヤノン株式会社 | 表示装置、表示制御方法 |
-
2016
- 2016-10-04 WO PCT/JP2016/079518 patent/WO2017061434A1/ja active Application Filing
- 2016-10-04 EP EP16853588.8A patent/EP3361739A4/en not_active Ceased
- 2016-10-04 JP JP2017544509A patent/JP6891811B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2017061434A1 (ja) | 2017-04-13 |
EP3361739A1 (en) | 2018-08-15 |
EP3361739A4 (en) | 2018-08-15 |
JPWO2017061434A1 (ja) | 2018-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5306429B2 (ja) | デジタルドキュメント処理のための方法 | |
US9870801B2 (en) | Systems and methods for encoding multimedia content | |
JP5290487B2 (ja) | デジタルドキュメント処理のためのシステム及び方法 | |
US8237740B2 (en) | Method and system for receiving a local vector object and viewing a vector image | |
US9426476B2 (en) | Video stream | |
CN105518614A (zh) | 用于多屏幕应用程序的屏幕录制 | |
KR20150081638A (ko) | 전자장치 및 전자장치에서의 웹 플랫폼 동작방법 | |
CN109963191A (zh) | 一种视频信息的处理方法、装置及存储介质 | |
CN107179920B (zh) | 网络引擎启动方法及装置 | |
CN109327698B (zh) | 动态预览图的生成方法、系统、介质和电子设备 | |
CN113946402A (zh) | 基于渲染分离的云手机加速方法、系统、设备及存储介质 | |
JP2010286811A (ja) | 組立式表示設備およびその画面制御方法とシステム | |
KR20040071176A (ko) | 멀티미디어 콘텐츠 재목적화 방법 | |
US10133711B2 (en) | Display apparatus and control method thereof | |
EP3764216B1 (en) | Display device and control method thereof | |
KR101997129B1 (ko) | 사이니지 콘텐츠 생성 방법 | |
JP6891811B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
EP1528512A2 (en) | Graphic decoder, image reproduction apparatus and method for graphic display acceleration based on commands | |
JP2017005544A (ja) | 画像情報処理方法 | |
KR20050040712A (ko) | 명령어 기반 그래픽 출력 가속 기능이 포함된 2차원그래픽 디코더, 그 그래픽 출력 가속 방법 및 영상 재생장치 | |
JP2011511991A (ja) | グラフィックディジタル文書の動画化装置および方法 | |
KR20140133096A (ko) | 가상화 웹 iptv 및 이를 이용한 동영상 스트리밍 방법 | |
EP2693426A1 (en) | Display apparatus, image post-processing apparatus and method for image post-processing of contents | |
CN114567793A (zh) | 直播互动特效的实现方法及装置、存储介质、电子设备 | |
KR20200106161A (ko) | 이미지 프로세싱 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190823 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200811 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210427 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210510 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6891811 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |