JP6891811B2 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
JP6891811B2
JP6891811B2 JP2017544509A JP2017544509A JP6891811B2 JP 6891811 B2 JP6891811 B2 JP 6891811B2 JP 2017544509 A JP2017544509 A JP 2017544509A JP 2017544509 A JP2017544509 A JP 2017544509A JP 6891811 B2 JP6891811 B2 JP 6891811B2
Authority
JP
Japan
Prior art keywords
data
resolution
graphic
graphic data
script
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017544509A
Other languages
English (en)
Other versions
JPWO2017061434A1 (ja
Inventor
義治 出葉
義治 出葉
塚越 郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017061434A1 publication Critical patent/JPWO2017061434A1/ja
Application granted granted Critical
Publication of JP6891811B2 publication Critical patent/JP6891811B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/391Resolution modifying circuits, e.g. variable screen formats
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/393Arrangements for updating the contents of the bit-mapped memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00Solving problems of bandwidth in display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、画像や文字等からなる表示用データに、スクリプト(プログラム)の実行によって生成されるグラフィックデータを重畳して表示する情報処理装置、および情報処理方法、並びにプログラムに関する。
昨今、画像データの解像度の向上が進み、メディアに記録された画像や放送局の提供する画像データは、高画質画像であるHD(High Definition)画像、いわゆるハイビジョン対応の2K画像が多く利用されている。
今後、さらに高画質化が進み、超高精細画像(UHD:Ultra High Definition画像)、例えば画素数を増加させた4K画像や、8K画像の利用が増加することが予想される。
また、昨今の放送サービスにおいては通常の放送番組に加え、送信装置からアプリケーションによって表示可能なアニメーション、静止画、動画、テキストデータ等をテレビ等の受信装置に送信し、受信装置においてアプリケーションを実行して、様々な付加情報を重畳して表示することを可能とした構成が利用されている。
このようなサービスを実現する一つの構成として、テレビ等の受信装置におけるブラウザの利用がある。
昨今のテレビ等の受信装置の多くは、ブラウザ実行機能を備えており、放送局等から送信されるHTML(Hyper Text Markup Language)ファイルを利用して、HTML記述に従った表示データを生成して、通常の放送番組に併せて様々なデータを表示する処理が可能となっている。
なお、ブラウザを利用した画像表示処理に関する従来技術を開示した文献として、例えば、特許文献1(特開2007−133898号公報)、特許文献2(特開2015−099340号公報)等がある。
従来の一般的なデータ放送等では、ブラウザによる出力画像サイズは、例えば960×540画素等、比較的、小さな画像サイズが多く利用されていた。
近年、より大きな画像サイズである1920×1080画素(Hybridcast)の画像サイズのブラウザも実用化されつつある。
3840×2160画素の4K画像を出力可能な4Kテレビが普及しつつある現状において、各メーカーのテレビに搭載されたブラウザの機能は、様々である。
例えば、
(a)1920×1080画素の画像出力機能を持つ2Kプラウザを搭載したテレビ、
(b)3840×2160画素の画像出力機能を持つ4Kプラウザを搭載したテレビ、
これらの異なるブラウザを備えたテレビが販売されている。
さらに、今後は、
(c)7680×4320画素の画像出力機能を持つ8Kプラウザを搭載したテレビも開発され、利用される可能性がある。
しかし、一般的なテレビはPC等のデータ処理装置に比較すると利用可能なメモリ容量は小さく、データ処理機能も低い。従って、例えば上述した4Kブラウザや、8Kブラウザを用いて画像表示を行おうとしても、滑らかな表示ができない場合も少なくない。
従って、テレビ等の受信装置側においてスクリプト(プログラム)を実行してグラフィックデータを生成して表示する場合、グラフィックデータの生成負荷が過大となり、また高解像度のグラフィックデータを格納する描画メモリの容量が不足するといった問題が発生する可能性が高くなる。
特開2007−133898号公報 特開2015−099340号公報
本開示は、例えば上記の問題点に鑑みてなされたものであり、利用可能なメモリ容量が小さく、データ処理能力の低いテレビ等の情報処理装置において、4K画像や8K画像といった高解像度画像に併せて様々なグラフィックデータを確実に生成して表示することを可能とした情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
前記グラフィック描画データ生成部は、スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、
前記合成部は、前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成する情報処理装置にある。
さらに、本開示の第2の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
前記グラフィック描画データ生成部が、
スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、
前記合成部は、
前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成する情報処理方法にある。
さらに、本開示の第3の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
前記プログラムは、
前記グラフィック描画データ生成部に、
スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成させ、
前記合成部に、
前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、高解像度の画像データに、スクリプトに従って生成した低解像度グラフィックデータを合成して表示する構成が実現される。
具体的には、グラフィック描画データ生成部が、HTML文書内に記述されたスクリプトに従ってグラフィックデータの生成処理を行なう際、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成して描画メモリに格納する。画像変換部が、描画メモリ内の低解像度グラフィックデータを拡大して高解像度グフィックデータと同一のサイズに変換した後、その他の高解像度画像データ等と合成して出力する。
本構成により、高解像度の画像データに、スクリプトに従って生成した低解像度グラフィックデータを合成して表示する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
通信システムの一構成例について説明する図である。 受信送信の実行する処理例について説明する図である。 受信送信の実行する処理例について説明する図である。 受信送信の実行する処理例について説明する図である。 受信送信の構成例と、実行する処理について説明する図である。 HTML文書の一例について説明する図である。 スタイルシートの一例について説明する図である。 スクリプトの一例について説明する図である。 スクリプトの一例について説明する図である。 スクリプトの一例について説明する図である。 本開示の情報処理装置である受信装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置である受信装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置である受信装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置である受信装置のハードウェア構成例について説明する図である。
以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.通信システムの構成例について
2.受信装置におけるブラウザを利用した画像出力例について
3.受信装置におけるブラウザを利用した画像出力処理における問題点について
4.受信装置におけるブラウザを利用した画像出力処理の問題点を解決した構成例について
5.本開示の情報処理装置(受信装置)の実行する処理のシーケンスについて
6.グラフィックデータ描画処理に際して解像度低下処理の要否判定を実行して判定結果に応じた処理を行なう実施例について
7.情報処理装置の構成例について
8.本開示の構成のまとめ
[1.通信システムの構成例について]
まず、図1を参照して本開示の処理を実行する通信システムの一構成例について説明する。
図1に示すように、通信システム10は、画像データや音声データ等のコンテンツを送信する通信装置である送信装置20と、送信装置20の送信するコンテンツを受信する通信装置である受信装置30を有する。
送信装置20は、具体的には、例えば、主にTV番組等を送信する放送サーバ(放送局)21や、主に広告データを送信する広告サーバ22、様々なデータを送信するデータ配信サーバ23等、様々なコンテンツ(放送番組、広告、その他のデータ)を提供する側の装置である。
一方、受信装置30は、一般ユーザのクライアント装置であり、具体的には、例えばテレビ31、PC32、携帯端末33等によって構成される。
なお、図1では、送信装置20の例として、放送サーバ(放送局)21、広告サーバ22、データ配信サーバ23を区別して記載しているが、1つのサーバが放送番組、広告、その他のデータをすべて送信する構成もある。
送信装置20と受信装置30間のデータ通信は、インターネット等のネットワークを介した双方向通信、一方向通信、あるいは、放送波等による一方向通信の少なくともいずれか、あるいは両者を利用した通信として行われる。
送信装置20は、受信装置30に対して、通常の番組コンテンツを送信し、さらに、例えばデータ放送やアニメーション表示等、通常番組に重畳して表示するデータや、表示処理用のプログラムなどを送信する。
具体的には、例えば、HTML(Hyper Text Markup Language)ファイル、その他の画像データ、アプリケーションプログラム(スクリプト)等の様々なデータを送信する。
受信装置30は、通常の番組コンテンツを表示部やスピーカ等の出力部に出力する処理を実行する。また、受信装置30はブラウザ実行機能を有し、HTML文書ファイルを解釈し、HTML文書ファイルの記述データに従った出力データを表示部、スピーカ等からなる出力部に出力する。
ブラウザは、例えばWebページを閲覧するためのアプリケーションプログラムであり、HTML文書ファイル、画像ファイル、音声ファイル、Java(登録商標)スクリプトファイル等のスクリプト(プログラム)を組み合わせて、画像、音声、アニメーション等からなる出力情報を生成するプログラムである。
受信装置30は、ブラウザを実行することで、受信装置の表示部に通常の放送番組に併せて、様々な動画、静止画、アニメーション等を重畳表示することができる。
[2.受信装置におけるブラウザを利用した画像出力例について]
次に、図2以下を参照して、テレビや携帯端末等の受信装置30におけるブラウザを利用した画像出力例について説明する。
図2は、受信装置30におけるブラウザを利用した画像表示処理の一例を示す図である。
放送局等の送信装置20からは、通常の番組コンテンツに併せて、ブラウザを利用した表示データを生成するために利用される様々なデータが受信装置30に送信される。
例えばHTML文書ファイル、画像ファイル、音声ファイル、さらに、アニメーション表示処理等のプログラム実行機能をブラウザ上で実行可能なJava(登録商標)スクリプト等のスクリプトファイル等が送信される。
受信装置30は、これらのデータを利用して、図2に示す出力画像50を生成して表示する。
通常の番組コンテンツは、一旦、図に示す文字、画像データ描画メモリ101に格納される。
送信装置20から送信される番組コンテンツを構成する画像、文字、音声等の各データは、圧縮符号化データであり、受信装置30は、この符号化データを復号する処理を実行し、復号結果を文字、画像データ描画メモリ101に格納する。
さらに、受信装置30は、送信装置20から受信したHTML文書ファイル、画像ファイル、音声ファイル等をアプリケーション実行部102に入力する。
アプリケーション実行部102は、送信装置20から受信したHTML文書ファイルを解析して、HTML文書ファイルの記述に従った出力データを生成する。
HTML文書ファイルには、出力データのスタイルを規定するためのスタイルシートや、出力データを構成する画像、音声、テキスト等の情報、さらに例えば、グラフィックデータの生成や、アニメーションの実行機能を実現するJava(登録商標)スクリプト等のスクリプト(プログラム)等、様々な情報が含まれ、アプリケーション実行部102は、これらを利用した出力データを生成する。
なお、本明細書において「グラフィックデータ」とは、スクリプトの記述に従って生成される表示用データである。
具体的には、例えばHTML文書に含まれるスクリプトに記述された座標データを適用して算出される2次元(2D)、あるいは3次元(3D)の図形データ等の表示用データである。
なお、スクリプトは、様々な出力データを生成することが可能なブラウザ上で実行可能なプログラム(アプリケーション)である。
図2には、矩形、半円状のグラフィックデータを生成するスクリプトを利用した例を示している。
図2に示す矩形、半円状のグラフィックデータを生成するスクリプトには、例えば矩形形状の描画データを生成するための矩形形状を規定する頂点座標データや、輪郭線の色、態様(実線、点線等)、輪郭内の描画態様(塗りつぶし色など)の様々な描画指定情報(描画命令、描画コマンド等も呼ばれる)が含まれる。
アプリケーション実行部(スクリプト実行部)102は、この描画指定情報に従って、様々なグラフィックデータを生成する。生成したグラフィックデータは、図2に示すグラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納される。
合成出力部104は、文字、画像データ描画メモリ101に格納された番組コンテンツと、グラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納されたグラフィックデータの合成処理(重畳処理)を実行し、合成画像が、出力画像50として受信装置30の表示部に出力される。出力画像50は、ブラウザ上の表示画像である。
[3.受信装置におけるブラウザを利用した画像出力処理における問題点について]
次に、図3以下を参照して、テレビや携帯端末等の受信装置30におけるブラウザを利用した画像出力処理における問題点について説明する。
前述したように、ブラウザによる出力画像サイズは、従来は、例えば960×540画素等、比較的、小さな画像サイズが多く利用されていた。
しかし、近年、より大きな画像サイズである1920×1080画素(Hybridcast)の画像サイズのブラウザが実用化されつつある。
さらに、テレビ等の表示装置の高画質化も急速に進んでおり、3840×2160画素の4K画像や、7680×4320画素の8K画像を出力可能な4Kテレビや8Kテレビの利用や開発が進んでいる。
このような状況において、ブラウザによる出力画像サイズも3840×2160画素の4K画像や、7680×4320画素の8K画像と同じ画像サイズを持つ4Kブラウザや、8Kブラウザ等、大型化が求められている。
しかし、前述したように、現状のテレビは、PC等のデータ処理装置に比較すると、利用可能なメモリ容量は小さく、データ処理機能も低い。
このような低機能なリソースを利用して上述した4Kブラウザや、8Kブラウザを用いて画像表示を行おうとしても、滑らかな表示ができない可能性が高くなる。
例えば、図2を参照して説明したように、受信装置30がスクリプトを実行してグラフィックデータを生成して表示する場合、グラフィックデータの生成負荷が過大となり、また高解像度のグラフィックデータを格納する描画メモリの容量も不足し、結果として、スムーズなグラフィックデータの生成、表示処理ができないといった問題が発生する。
図3は、放送局等の送信装置20から受信装置30に送信される番組コンテンツが4K、あるいは8Kの高解像度画像であり、また、送信装置20が、番組コンテンツとともに受信装置30に送信するHTML文書ファイルに記録されたスクリプトも4K、あるいは8Kのグラフィックデータ描画処理用のスクリプトである場合の受信装置30の表示データ生成処理例を示す図である。
受信装置30は、送信装置20から送信される4K、あるいは8Kの高解像度画像の符号化データの復号処理を実行し、復号結果である高解像度画像データを、文字、画像データ描画メモリ101に格納する。
さらに、受信装置30は、送信装置20から受信したHTML文書ファイルに記録されたスクリプトをアプリケーション実行部102に入力し、スクリプトを実行して、4K、あるいは8Kの高解像度画像データからなるグラフィックデータを生成する。
生成されたグラフィックデータは、図3に示すグラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納される。
合成出力部104は、文字、画像データ描画メモリ101に格納された番組コンテンツと、グラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納されたグラフィックデータの合成処理(重畳処理)を実行し、合成画像が、出力画像50として、受信装置30の表示部に出力される。出力画像50は、ブラウザ上の表示画像である。
この一連の処理において、アプリケーション実行部102は、4K、あるいは8Kの高解像度画像データからなるグラフィックデータを生成する処理を実行して、生成した高解像度グラフィックデータをグラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納する処理を実行しなければならない。
しかし、生成するグラフィックデータの解像度が高い場合、すなわち4Kや8K画像からなる高解像度のグラフィックデータである場合、グラフィックデータの生成処理負荷が過大となる。また、グラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103のメモリ容量も大きなものが必要となる。
データ処理リソースが不十分なテレビ等の受信装置30は、グラフィックデータの生成処理に時間を要する。また、メモリ容量の少ないテレビ等の受信装置30は、生成した高解像度のグラフィックデータを記録(バッファ)することができない。結果として、グラフィックデータの出力ができなくなる恐れがある。
[4.受信装置におけるブラウザを利用した画像出力処理の問題点を解決した構成例について]
次に、上述した問題点を解決し、受信装置におけるブラウザを利用した画像出力処理を、より確実に実行する構成例について説明する。
図4は、本開示の受信装置30におけるブラウザを利用した画像出力処理の一例を説明する図である。
図4に示す例も、図3を参照して説明した例と同様、放送局等の送信装置20から受信装置30に送信される番組コンテンツが4K、あるいは8Kの高解像度画像であり、また、送信装置20が、番組コンテンツとともに受信装置30に送信するHTML文書ファイルに記録されたスクリプトも4K、あるいは8Kの高解像度グラフィックデータ描画処理用のスクリプトである場合の例である。
受信装置30は、送信装置20から送信される4K、あるいは8Kの高解像度画像の符号化データの復号処理を実行し、復号結果である高解像度画像データを、文字、画像データ描画メモリ101に格納する。
さらに、受信装置30は、送信装置20から受信したHTML文書ファイルに記録されたスクリプトをアプリケーション実行部102に入力し、スクリプトを実行する。
ここで、アプリケーション実行部102は、4K、あるいは8Kの高解像度画像データからなるグラフィックデータを生成せず、低解像度画像データからなるグラフィックデータを生成する。例えば2Kの低解像度グラフィックデータを生成して、図4に示すグラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納する。
合成出力部104は、文字、画像データ描画メモリ101に格納された番組コンテンツと、グラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納されたグラフィックデータの合成処理(重畳処理)を実行する。
合成出力部104は、この合成処理に際して、グラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納された低解像度のグラフィックデータの拡大処理を実行する。すなわち、元の高解像度(4Kまたは8K)画像のデータサイズに変更する画像変換(画像拡大)処理を実行し、変換されたグラフィックデータと、文字、画像データ描画メモリ101に格納された番組コンテンツとの合成処理を実行し、この合成画像を出力画像50として、受信装置30の表示部に出力する。
この一連の処理において、アプリケーション実行部102は、例えば2Kの低解像度画像データからなるグラフィックデータを生成する処理を実行し、生成した低解像度グラフィックデータをグラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納する処理を実行する。
このように、生成するグラフィックデータの解像度を低く設定することで、グラフィックデータの生成処理負荷を低減することができる。また、グラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103のメモリ容量も小さなものとすることが可能となる。
このような処理を実行することで、データ処理リソースやメモリリソースが不十分なテレビ等の受信装置30においても、グラフィックデータの生成処理を高速に行うことが可能となり、エラーのない合成画像出力を実行することができる。
図4を参照して説明した処理を実行する受信装置30の具体的な構成例と、具体的な処理シーケンスについて、図5を参照して説明する。
図5は、受信装置30の一部構成を示すブロック図である。
図5は、受信装置30が、送信装置20から受信するHTML文書ファイルに基づいて、番組コンテンツと、グラフィックデータからなる合成画像を生成して表示部に表示する構成を示している。
HTML文書処理部201は、送信装置20から受信したHTML文書ファイルの解釈を実行する。
HTML文書の一例を図6に示す。
HTML文書は、図6に示すように、例えば、
(a)スタイルシート301、
(b)スクリプト302、
(c)ボディ303、
これらの構成要素を持つ。
スタイルシート301は、ブラウザ画面に表示する各構成要素(テキスト、静止画、動画、グラフィックデータ等)の配置やデザインを規定するデータである。
スタイルシート301は例えばCSS(Cascading Style Sheet)言語を利用したスタイルシートとして構成される。
CSSを利用したスタイルシートを適用することで、例えば表示情報に動きを加えたアニメーション、いわゆるCSSアニメーションの表示も可能となる。
スクリプト302は、先に図2、図3を参照して説明したように、例えばグラフィックデータの生成プログラムである。
なお、スクリプト302は、ブラウザ上で実行可能なプログラムであり、具体的にはJava(登録商標)スクリプトなどがある。
スクリプトには、様々な種類があり、グラフィックデータの生成のみならず、2次元画像データや3次元画像データの生成、出力処理、アニメーショングラフッィクデータ等の生成、出力処理等、様々な処理を実行するスクリプトがある。
また、例えばスクリプトの実行によって生成した2次元グラフィックデータや3次元グラフィックデータと、前述したCSSを利用したスタイルシートと組み合わせることで、各グラフィックデータに動きを加えたアニメーション(CSSアニメーション)表示を行うことも可能である。
ボディ303は、例えばHTML文書に従って生成されるブラウザ画面上に出力されるテキストや、動画、静止画等のデータ、グラフィックデータ生成用のデータ等を記録した領域である。
図に示すように、例えば、文字データ情報311、動画データ情報312、静止画データ情報313、グラフィックデータ情報314等が記録される。
スタイルシート301の具体的な一例について図7を参照して説明する。
前述したように、スタイルシート301は、ブラウザ画面に表示する各構成要素(テキスト、静止画、動画、グラフィックデータ等)の配置やデザインを規定するデータである。
図7には、スタイルシートの一部構成を示している。
スタイルシートには、例えば、図7に示すように、
輪郭線情報321、領域情報322、背景色情報323、マージン情報324等の情報等が含まれる。
図7に示す例は、例えばブラウザ画面の一部の矩形領域を規定した情報である。例えばテキストの表示領域の規定情報等に対応する。
輪郭線情報321は、4ピクセル(画素)幅のタークオレンジ色の実線を規定している。
領域情報322は、幅200ピクセル、高さ50ピクセルの矩形領域を規定している。
背景色情報323は、ゴールドを規定している。
マージン情報324は、50ピクセルのマージンを規定している。
例えば、これらの情報によって規定されるダークオレンジ色の実線で囲まれた幅200ピクセル、高さ50ピクセルの矩形領域であり、背景色がコールドに設定された領域くにマージン50ピクセルで、テキストが表示される。
テキストは、図6に示すHTML文書のボディ303に記録されたテキストである。
図7に示す例は、スタイルシート301の一例であり、スタイルシート301には、ブラウザ画面に表示される他の様々なデータの表示スタイルを規定したデータが記録される。
また、前述したアニメーション表示を実現するCSSスタイルシート等、様々なスタイルシートがある。
次に、図6を参照して説明したスクリプト302の具体例について説明する。
スクリプト302は、先に図2、図3を参照して説明したように、例えばグラフィックデータの生成プログラムである。
前述したように、スクリプト302は、ブラウザ上で実行可能なプログラムであり、具体的にはJava(登録商標)スクリプトなどがある。
また、スクリプトは、グラフィックデータの生成のみならず、3次元画像データの生成、出力処理、アニメーショングラフッィクデータの生成、出力処理等、様々な処理を実行するスクリプトがある。
スクリプトの一例を図8に示す。
図8に示す例は、2次元(2D)グラフィックデータの生成処理を実行するスクリプトの例である。
図8に示す2次元(2D)グラフィックデータの生成処理実行スクリプトは、例えば以下のような描画命令によって構成される。
(a)context.fillRect(200,400,500,1000)
(b)context.strokeStyle=rgb(00,00,255)
(c)context.fillStyle=rgb(255,00,00)
(d)context.strokeRect(2000,800,1000,500)
(e)context.arc(1500,750,600,Math.PI*1,Math.PI*2,true)
(a)context.fillRect(200,400,500,1000)
この記述は、四角形の描画命令であり、左から200(ピクセル)、上から400(ピクセル)の位置を起点として、幅500(ピクセル)、高さ1000(ピクセル)の四角形を描画することを指示する記述である。
(b)context.strokeStyle=rgb(00,00,255)
この記述は、上記の(a)で指定された四角形の枠の色(RGB)を指定するデータであり、B=255、すなわち青色の四角形枠線を描画することを指示する記述である。
(c)context.fillStyle=rgb(255,00,00)
この記述は、上記の(a)で指定された四角形内の塗りつぶしの色(RGB)を指定するデータであり、R=255、すなわち四角形の中を赤色で塗りつぶすことを指示する記述である。
(d)context.strokeRect(2000,800,1000,500)
この記述は、四角形の枠線の描画命令であり、左から2000(ピクセル)、上から800(ピクセル)の位置を起点として、幅1000(ピクセル)、高さ500(ピクセル)の四角形の枠線を描画することを指示する記述である。
(e)context.arc(1500,750,600,Math.PI*1,Math.PI*2,true)
この記述は、半円の描画命令であり、左から1500(ピクセル)、上から750(ピクセル)の位置を起点として、半径600(ピクセル)の半円を反時計回り(左回り)で描画することを指示する記述である。
スクリプト302には、例えば、このように、様々なグラフィックデータの描画処理命令が記述される。
受信装置のアプリケーション(スクリプト)実行部は、このようなスクリプトの記述を解釈して、グラフィックデータの描画、表示処理を実行する。
図8に示すスクリプトの例は、2次元(2D)グラフィックデータの描画処理を実行させるスクリプトの例である。
図9、図10に3次元(3D)グラフィックデータの描画処理を実行させるスクリプトの例を示す。
図9、図10に示すように、3次元(3D)グラフィックデータの描画処理を実行させるスクリプトには、例えば以下のような記述が含まれる。
(a)表示領域情報451、
(b)カメラ位置情報452、
(c)レンダラ情報453、
(d)光源位置情報454、
(e)表示オブジェクト情報454、
(f)アニメーション表示情報457、
受信装置のアプリケーション(スクリプト)実行部は、このようなスクリプトの記述を解釈して、3Dグラフィックデータの描画、アニメーション表示処理を実行する。
図5に戻り、受信装置30の構成と処理について説明する。
HTML文書処理部201は、図6を参照して説明した構成を持つHTML文書の解析処理を実行する。
レイアウト処理部202は、HTML文書に含まれるスタイルシートに従って、ブラウザ画面内の各校正要素の配置等のレイアウトを決定する。
このレイアウト処理においては、レイアント処理用メモリ203が利用される。
メディアデータ描画処理部(メディアレンダラ)204は、レイアウト処理部202によって配置が決定された各領域に対して、例えば、放送局等の送信装置20から送信される高解像度(4K、8K等)の画像データを含む番組コンテンツの描画処理を実行する。
描画処理は、例えば放送番組を構成する文字、静止画、動画、それぞれ個別に行われる。
描画結果は、文字、画像データ描画メモリ205内に、個別に記録される。
文字データの描画結果は、文字描画プレーン211として文字、画像データ描画メモリ205内に格納される。
静止画データの描画結果は、静止画描画プレーン212として文字、画像データ描画メモリ205内に格納される。
動画データの描画結果は、動画描画プレーン213として文字、画像データ描画メモリ205内に格納される。
これらは、いずれも放送局等の送信装置20から送信される高解像度(4K、8K等)のデータである。
すなわち、文字、画像データ描画メモリ205内には、高解像度(4K、8K等)の文字、静止画、動画の各データが格納される。
一方、図5に示すグラフィック描画データ生成部220内のアプリケーション実行部(スクリプト実行エンジン)221には、HTML文書処理部201によって解析されたHTML文書中のスクリプトデータ、およびスクリプトの実行に必要となる各データが入力される。
アプリケーション実行部(スクリプト実行エンジン)221は、これらの入力データに基づいてスクリプトを実行する。アプリ実行用ワークメモリ222をワークエリアとして利用してスクリプトを実行する処理が行われる。
スクリプトは、例えば、図4中のグラフィックデータ描画メモリ103内に示すグラフィックデータを出力するプログラムなどである。
前述したように、スクリプトは、例えば、静止画、動画、音声、2Dデータ、3Dデータ等、様々なデータを生成するプログラムによって構成される。
アプリケーション実行部(スクリプト実行エンジン)221は、HTML文書に記録されたスクリプトに従ったグラフィックデータの描画要求をグラフィックデータ描画処理部(グラフィックレンダラ)223に出力する。
グラフィックデータ描画処理部(グラフィックレンダラ)223は、アプリケーション実行部(スクリプト実行エンジン)221の処理要求に従って、グラフィックデータを、グラフィックデータ描画メモリ224に記録する。すなわち、グラフィックデータ描画メモリ224にグラフィック描画プレーンを生成する。
本開示の処理構成において、グラフィック描画処理部(グラフィックレンダラ)223は、HTML文書に記録されたスクリプトに従った高解像度のグラフィック描画プレーンを生成することなく、解像度を低下させたグラフィック描画プレーンを生成する。
すなわち、グラフィック描画データ生成部220は、HTML文書に記録されたスクリプトに従った4Kや8K等の高解像度グラフィック描画プレーンの生成を行わず、解像度を低下させたグラフィック描画プレーン、例えば2K画像相当の解像度を持つグラフィック描画プレーンの生成処理を行なう。
このように、グラフィックデータ描画メモリ224に生成されるグラフィック描画プレーンは、HTML文書に記録されたスクリプトのオリジナルの解像度のグラフィックデータではなく、HTML文書に記録されたスクリプトのオリジナルの解像度より低い低解像度のグラフィックデータ(グラフィック描画プレーン)となる。
なお、グラフィックデータ描画メモリ224には、レイアウト処理部202によって配置が決定された領域にグラフィック描画プレーンが描画される。
上述したように、スクリプトに従って生成するグラフィックデータを低解像度のデータとすることで、スクリプトに従ったグラフィックデータの描画処理の負荷を低減することが可能となり、また、生成したグラフィックデータの格納領域であるグラフィックデータ描画メモリ224の必要容量を小さくすることが可能となる。
例えば、HTML文書のスクリプトの記述が4K画像相当のグラフィックデータの描画命令から構成され、グラフィック描画処理部(グラフィックレンダラ)223が、2K画像相当のグラフィックデータをグラフィックデータ描画メモリ224に記録する場合、2K画像相当のグラフィックデータは、4K画像相当のグラフィックデータの1/4のサイズのデータとなる。すなわち、縦方向、横方向とも1/2に縮小されたデータサイズとなる。
また、例えば、HTML文書のスクリプトの記述が8K画像相当のグラフィックデータの描画命令から構成され、グラフィック描画処理部(グラフィックレンダラ)223が、2K画像相当のグラフィックデータをグラフィックデータ描画メモリ224に記録する場合、2K画像相当のグラフィックデータは、8K画像相当のグラフィックデータの1/8のサイズのデータとなる。すなわち、縦方向、横方向とも1/4に縮小されたデータサイズとなる。
なお、HTML文書に記録されたスクリプトは、高解像度グラフィックデータの描画処理用のスクリプトであり、例えばグラフィックデータの描画領域等を指定する座標は、4Kや8K等の高解像度対応の座標系で表現されている。
スクリプトに記録される座標データとしては、例えばブラウザ上に2次元(2D)グラフィックデータを描画するスクリプトの仕様である「canvas」に従った座標データ、あるいはブラウザ上に3次元(3D)グラフィックデータを描画するスクリプトの仕様である「WebGL」に従った座標データ等がある。
2K等の低解像度グラフィックデータ(グラフィック描画プレーン)を生成するためには、HTML文書のスクリプトに記載された高解像度対応の座標指定情報を、低解像度対応の座標指定情報に変換して、グラフィックデータを描画する処理を行なうことが必要となる。
この座標系の変換処理は、図5に示すグラフィック描画データ生成部220内のアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかで行う。
例えば、図5に示すアプリケーション実行部221が座標変換処理を行なう場合は、アプリケーション実行部221において、HTML文書中のスクリプトに記述された高解像度対応の座標指定データを、低解像度対応の座標指定データに変換し、変換後のスクリプト記述に従った描画命令をグラフィックデータ描画処理部223に出力する。
グラフィックデータ描画処理部223は、アプリケーション実行部221から入力する低解像度対応の座標系に従った描画命令に従ってグラフィックデータの描画処理を実行する。この処理によって、グラフィックデータ描画メモリ224には、低解像度のグラフィックデータ(グラフィック描画プレーン)が記録される。
また、グラフィックデータ描画処理部223が、座標変換を行う場合は、図5に示すアプリケーション実行部221は、HTML文書中のスクリプトに記述された高解像度対応の座標指定データをそのまま用いた描画命令をグラフィックデータ描画処理部223に出力する。
グラフィックデータ描画処理部223は、アプリケーション実行部221から入力する描画命令中の高解像度対応の座標系を、低解像度対応の座標系に変換し、変換後の低解像度対応の座標系に従った描画命令に従ってグラフィックデータの描画処理を実行する。この処理によって、グラフィックデータ描画メモリ224には、低解像度のグラフィックデータ(グラフィック描画プレーン)が記録される。
このように、HTML文書中のスクリプトの記述を低解像度対応の座標系に変換する処理は、アプリケーション実行部221、またはグラフィックデータ描画処理部223のいずれか一方において実行することが可能である。
グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンは、画像変換部231に入力される。
画像変換部231は、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンを元のHTML文書に記録されたスクリプトに従った高解像度のグラフィックデータに相当する大きさのグラフィックデータに拡大する画像拡大処理を実行する。
例えば、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンが2K画像相当の画像データであり、HTML文書に記録されたスクリプトに従った高解像度のグラフィックデータが4K画像相当のグラフィックデータである場合、画像変換部231は、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンを、縦方向サイズ、横方向サイズのそれぞれを2倍にする画像拡大処理を実行する。
この拡大処理により、グラフィックデータ描画メモリ224に記録された低解像度(2K)のグラフィック描画プレーンを元のHTML文書に記録されたスクリプトに従った高解像度(4K)のグラフィックデータに相当する大きさのグラフィックデータに拡大することができる。
また、例えば、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンが2K画像相当の画像データであり、HTML文書に記録されたスクリプトに従った高解像度のグラフィックデータが8K画像相当のグラフィックデータである場合、画像変換部231は、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンを、縦方向サイズ、横方向サイズのそれぞれを4倍にする画像拡大処理を実行する。
この拡大処理により、グラフィックデータ描画メモリ224に記録された低解像度(2K)のグラフィック描画プレーンを元のHTML文書に記録されたスクリプトに従った高解像度(8K)のグラフィックデータに相当する大きさのグラフィックデータに拡大することができる。
画像変換部231の実行する画像拡大処理により、グラフィック描画プレーンは、HTML文書のスクリプトに従って生成されたオリジナルの解像度のグラフィックデータの大きさと同一の大きさを持つグラフィックデータとなる。
合成部232は、文字、画像データ描画メモリ205に格納された文字、静止画、動画各々に対応する表示部出力用データである描画プレーン、すなわち、
文字描画プレーン211、
静止画描画プレーン212、
動画描画プレーン213、
これらの各描画プレーンと、
画像変換部231において拡大処理がなされたグラフィック描画プレーンとの合成処理を実行する。
文字、画像データ描画メモリ205に格納された文字描画プレーン211、静止画描画プレーン212、動画描画プレーン213、これらの描画プレーンは、HTML文書の記述に従って生成された描画プレーンであり、高解像度、例えば4K、あるいは8K等の高解像度データである。
一方、画像変換部231から入力するグラフィック描画プレーンは、低解像度、例えば2K画像相当の解像度をグラフィック描画プレーンの拡大データである。解像度は低いままであるが、画像の大きさは、HTML文書に記録されたスクリプトを実行して得られるオリジナル解像度のグラフィック描画プレーンと同一の大きさを有する。
合成部232は、文字、画像データ描画メモリ205に格納された文字、静止画、動画各々に対応する高解像度の、
文字描画プレーン211、
静止画描画プレーン212、
動画描画プレーン213、
これらの各描画プレーンと、
画像変換部231において拡大処理がなされた低解像度のグラフィック描画プレーンとの合成処理を実行する。
なお、合成部232は、レイアウト処理部202の決定したレイアウトに従って生成された複数の異なる描画プレーンの合成処理を実行する。
前述したように、レイアウト処理部202は、HTML(Hyper Text Markup Language)内に記述されたスタイルシートに従ったレイアウト決定を行う。合成部232は、このレイアウト処理部202の決定したレイアウトに従って生成された複数の異なる描画プレーンの合成処理を実行する。
合成部232の生成した複数の描画プレーンの合成結果が表示用フレームバッファ233に格納され、表示部250に出力される。
表示部250の表示画像は、例えば、図4に示す出力画像50に相当する画像である。
2つの矩形画像と、1つの半円形画像が、HTML文書に記録されたスクリプトを実行して得られるグラフィックデータである。
これらのグラフィックデータは、描画処理過程において、解像度を低下させて生成した描画データ(グラフィック描画プレーン)を、HTML文書のオリジナルのスクリプトに従った解像度相当の大きさまで拡大して得られたグラフィックデータである。
その他の出力データは、HTML文書に従って得られるオリジナルの高解像度画像となる。
このように、本開示の受信装置30における画像生成、出力処理においては、HTML文書に記録されたスクリプトを実行して得られるグラフィックデータを、解像度を低下させたグラフィック描画プレーンとして生成する描画処理を実行する。
その後、低解像度のグラフィック描画プレーンの拡大処理を実行して、元のHTML文書に記録されたスクリプトに従った解像度のグラフィック描画プレーンと同じ大きさのグラフィック描画プレーンを生成して、他の高解像度の画像、文字等の描画プレーンに重畳して表示する。
これらの処理により、グラフィック描画データ(グラフィック描画プレーン)の生成処理の負荷を軽減し、また、グラフィック描画データ(グラフィック描画プレーン)を格納するメモリの容量も小さくすることが可能となる。
従って、データ処理能力が低く、またデータ記録用のメモリ容量の小さいテレビ等の装置においても、スクリプトの実行によって生成されるグラフィックデータを含む合成画像の出力を遅延なく確実に実行することが可能となる。
なお、上述した実施例では、高解像度グラフィックデータを4K、8K画像相当のグラフィックデータとし、低解像度グラフィックデータを2K画像相当のグラフィックデータとした例を説明したが、これは一例である。
図5に示すグラフィック描画データ生成部におけるグラフィックデータ生成時の解像度低下を伴うグラフィックデータの生成、描画処理は、HTML文書のスクリプト記述に従った解像度より低い解像度のグラフィックデータを生成して描画する処理であり、様々な解像度の組み合わせが可能である。
HTML文書に記録されたスクリプトが8K画像相当のグラフィックデータの生成スクリプトである場合、図5に示すグラフィック描画データ生成部における解像度低下を伴うグラフィックデータ生成処理態様としては、例えば、2K画像相当のグラフィックデータ生成のみならず、4K画像相当のグラフィックデータ生成処理も含まれる。
このように、本開示の処理は、元のHTML文書のスクリプト記述に従った解像度を持つグラフィックデータより低い様々な解像度のグラフィックデータの生成を行う構成を含むものである。
[5.本開示の情報処理装置(受信装置)の実行する処理のシーケンスについて]
次に、図11以下に示すフローチャートを参照して、本開示の情報処理装置(受信装置)の実行する処理のシーケンスについて説明する。
図11に示すフローチャートは、本開示の情報処理装置(受信装置30)の実行する処理の一例を示すシーケンスについて説明するフローチャートである。
受信装置30は、図11に示す処理シーケンスに従った処理の手順を記録したプログラムを記憶部に格納し、プログラム実行機能を持つCPU等を有するデータ処理部がプログラムを実行して、図11に示すフローに従った処理を実行する。
なお、データ処理部は、例えば先に図5を参照して説明した各構成部の処理を実行する機能を有する。
以下、図11に示すフローチャートの各ステップの処理について、順次、説明する。
(ステップS101)
受信装置のデータ処理部は、まず、ステップS101において、HTML文書の解析処理を実行する。
この処理は、図5に示すHTML文書処理部201の実行する処理に相当する。
HTML文書は、例えば放送局等の送信装置20から受信したHTML文書である。
HTML文書は、先に図6を参照して説明したように、例えば、
(a)スタイルシート301、
(b)スクリプト302、
(c)ボディ303、
これらの構成要素を持つ。
(ステップS102)
次に、受信装置のデータ処理部は、ステップS102において、HTML文書に記述されたスタイルシートに従って、受信装置の表示部に表示する表示データのスタイル、すなわち、各構成要素の表示位置等の表示態様(スタイル)を決定する。
この処理は、図5を参照して説明したレイアウト処理部202の実行する処理である。
スタイルシートは、先に図7を参照して説明したように、表示データの各構成要素(文字、静止画、動画)各々に関する表示位置や、表示態様についての情報が記録され、レイアウト処理部202は、このスタイルシートの記述に従って、表示データの各構成要素についての表示位置や表示態様を決定する。
(ステップS103)
次に、受信装置のデータ処理部は、ステップS103において、HTML文書の記述に従い、受信装置の表示部に表示する表示データの構成要素である画像、文字等の表示用データを生成する。
この処理は、図5を参照して説明したメディアデータ描画処理部(メディアレンダラ)204の実行する処理である。
メディアデータ描画処理部(メディアレンダラ)204は、レイアウト処理部202によって配置が決定された各領域に対して、例えば、放送局等の送信装置20から送信される高解像度(4K、8K等)の画像データを含む番組コンテンツの描画処理を実行する。
描画処理は、例えば放送番組を構成する文字、静止画、動画、それぞれ個別に行われる。
描画結果は、図5に示す文字、画像データ描画メモリ205内に、個別に記録される。図5に示すように、
文字データの描画結果は、文字描画プレーン211として文字、画像データ描画メモリ205内に格納される。
静止画データの描画結果は、静止画描画プレーン212として文字、画像データ描画メモリ205内に格納される。
動画データの描画結果は、動画描画プレーン213として文字、画像データ描画メモリ205内に格納される。
これらは、いずれも放送局等の送信装置20から送信される高解像度(4K、8K等)のデータである。
すなわち、文字、画像データ描画メモリ205内には、高解像度(4K、8K等)の文字、静止画、動画の各データが格納される。
(ステップS104)
次に、受信装置のデータ処理部は、ステップS104において、スクリプトの実行によるグラフィックデータの描画処理が必要か否かを判定する。
ステップS101において解析したHTML文書にグラフィックデータの描画処理を実行させるためのスクリプト(ブラウザ上で実行されるプログラム)が含まれるか否かを判定する。
スクリプトの実行によるグラフィックデータの描画処理が必要であると判定した場合は、ステップS111に進む。
一方、スクリプトの実行によるグラフィックデータの描画処理が必要でないと判定した場合は、ステップS105に進む。
(ステップS105)
ステップS104において、スクリプトの実行によるグラフィックデータの描画処理が必要でないと判定した場合は、ステップS105に進む。
受信装置のデータ処理部は、ステップS105において、表示データ(高解像度の画像、文字等)を表示用フレームバッファに格納し、表示用フレームバッファの格納画像を表示部に出力して表示する処理を実行する。
具体的には、先に説明したステップS103において、図5に示す文字、画像データ描画メモリ205に描画した、以下の各描画プレーン、すなわち、
文字描画プレーン211、
静止画描画プレーン212、
動画描画プレーン213、
これらの描画プレーンを、図5に示す表示用フレームバッファ233に格納し、表示用フレームバッファ233の格納画像を表示部250に出力して表示する処理を実行する。
これらの処理では、グラフィックデータの表示処理は実行されず、放送局等の送信装置20から送信される高解像度(4K、8K等)のデータのみからなる表示用データが生成されて表示される。
(ステップS111)
一方、ステップS104において、スクリプトの実行によるグラフィックデータの描画処理が必要であると判定した場合は、ステップS111に進む。
受信装置のデータ処理部は、ステップS111において、グラフィックデータ描画処理用のスクリプト関連データを、図5に示すアプリケーション実行部(スクリプト実行エンジン)221に出力する。
すなわち、図5に示すアプリケーション実行部(スクリプト実行エンジン)221に、HTML文書処理部201によって解析されたHTML文書中のスクリプトデータ、およびスクリプトの実行に必要となる各データが入力される。
(ステップS112)
次に、アプリケーション実行部(スクリプト実行エンジン)221は、ステップS112において、これらの入力データに基づいてスクリプトを実行する。アプリ実行用ワークメモリ222をワークエリアとして利用してスクリプトを実行する。
スクリプトは、例えば、図4中のグラフィックデータ描画メモリ103内に示すグラフィックデータを出力するプログラムである。
アプリケーション実行部(スクリプト実行エンジン)221は、HTML文書に記録されたスクリプトに従ったグラフィックデータの描画要求をグラフィックデータ描画処理部(グラフィックレンダラ)223に出力する。
(ステップS113)
ステップS113において、図5に示すグラフィックデータ描画処理部(グラフィックレンダラ)223が、アプリケーション実行部(スクリプト実行エンジン)221の処理要求に従って、グラフィックデータを、グラフィックデータ描画メモリ224に記録する。すなわち、グラフィックデータ描画メモリ224にグラフィック描画プレーンを生成する。
なお、先に説明したように、グラフィック描画処理部(グラフィックレンダラ)223は、HTML文書に記録されたスクリプトに従った高解像度のグラフィック描画プレーンを生成することなく、解像度を低下させたグラフィック描画プレーンを生成する。
すなわち、HTML文書に記録されたスクリプトに従った4Kや8K等の高解像度グラフィック描画プレーンの生成を行わず、解像度を低下させた、例えば2K画像相当のグラフィック描画プレーンの生成処理を行なう。
グラフィックデータ描画メモリ224に生成されるグラフィック描画プレーンは、HTML文書に記録されたスクリプトのオリジナルの解像度のグラフィックデータではなく、HTML文書に記録されたスクリプトのオリジナルの解像度より低い低解像度のグラフィックデータ(グラフィック描画プレーン)となる。
なお、前述したように、HTML文書に記録されたスクリプトは、高解像度グラフィックデータの描画処理用のスクリプトであり、例えばグラフィックデータの描画領域等を指定する座標は、4Kや8K等の高解像度対応の座標系で表現されている。
2K等の低解像度グラフィツクデータ(グラフィック描画プレーン)を生成するためには、HTML文書のスクリプトに記載された高解像度対応の座標指定情報を、低解像度対応の座標指定情報に変換して、グラフィックデータを描画する処理を行なうことが必要となる。
先に説明したように、この座標系の変換処理は、図5に示すアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかで行う。
例えば、図5に示すアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかにおいて、HTML文書に記録された高解像度グラフィックデータの描画処理用のスクリプトに記録された高解像度データ対応の座標データを低解像度データ対応の座標データに変換する処理を行なう。
この変換後の座標データに従って描画処理を実行することで、グラフィックデータ描画メモリ224には、低解像度のグラフィックデータ(グラフィック描画プレーン)が記録される。
(ステップS114)
次のステップS114の処理は、図5に示す画像変換部231の処理である。
画像変換部231は、ステップS114において、グラフィックデータ描画メモリ224に格納された低解像度グラフィックデータの画像拡大処理を実行する。
すなわち、グラフィックデータ描画メモリ224に格納された低解像度グラフィックデータを、HTML文書に記述されたスクリプトに従って生成される元の高解像度画像の表示態様に応じた大きさに変換する処理を実行する。
例えば、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンが2K画像相当の画像データであり、HTML文書に記録されたスクリプトに従った高解像度のグラフィックデータが4K画像相当のグラフィックデータである場合、画像変換部231は、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンを、縦方向サイズ、横方向サイズのそれぞれを2倍にする画像拡大処理を実行する。
画像変換部231の実行する画像拡大処理により、グラフィック描画プレーンは、HTML文書のスクリプトに従って生成されたオリジナルの解像度のグラフィックデータの大きさと同一の大きさを持つグラフィックデータとなる。
(ステップS115)
次のステップS115の処理は、図5に示す合成部232の実行する処理である。
合成部232は、文字、画像データ描画メモリ205に格納された文字、静止画、動画各々に対応する表示部出力用データである描画プレーン、すなわち、
文字描画プレーン211、
静止画描画プレーン212、
動画描画プレーン213、
これらの各描画プレーンと、
画像変換部231において拡大処理がなされたグラフィック描画プレーンとの合成処理を実行する。
文字、画像データ描画メモリ205に格納された文字描画プレーン211、静止画描画プレーン212、動画描画プレーン213、これらの描画プレーンは、HTML文書の記述に従って生成された描画プレーンであり、高解像度、例えば4K、あるいは8K等の高解像度データである。
一方、画像変換部231から入力するグラフィック描画プレーンは、低解像度、例えば2K画像相当の解像度をグラフィック描画プレーンの拡大データである。解像度は低いままであるが、画像の大きさは、HTML文書に記録されたスクリプトを実行して得られるオリジナル解像度のグラフィック描画プレーンと同一の大きさを有する。
合成部232は、文字、画像データ描画メモリ205に格納された文字、静止画、動画各々に対応する高解像度の、
文字描画プレーン211、
静止画描画プレーン212、
動画描画プレーン213、
これらの各描画プレーンと、
画像変換部231において拡大処理がなされた低解像度のグラフィック描画プレーンとの合成処理を実行する。
(ステップS116)
合成部232が、ステップS115における合成処理の結果として生成した合成画像は、ステップS116において、図5に示す表示用フレームバッファ233に格納され、表示部250に出力される。
先に説明したように、表示部250の表示画像は、例えば、図4に示す出力画像50に相当する画像である。
2つの矩形画像と、1つの半円形画像が、HTML文書に記録されたスクリプトを実行して得られるグラフィックデータである。
これらのグラフィックデータは、描画処理過程において、解像度を低下させて生成した描画データ(グラフィック描画プレーン)を、HTML文書のオリジナルのスクリプトに従った解像度相当の大きさまで拡大して得られたグラフィックデータである。
その他の出力データは、HTML文書に従って得られるオリジナルの高解像度画像となる。
本開示の受信装置30は、この図11に示すフローチャートに従った処理を実行する。
HTML文書に記録されたスクリプトを実行して得られるグラフィックデータを、解像度を低下させたグラフィック描画プレーンとして生成し、その後、低解像度のグラフィック描画プレーンの拡大処理を実行して、元のHTML文書に記録されたスクリプトに従った解像度のグラフィック描画プレーンと同じ大きさのグラフィック描画プレーンを生成して、他の高解像度の画像、文字等の描画プレーンに重畳して表示する。
これらの処理により、グラフィック描画データ(グラフィック描画プレーン)の生成処理の負荷を軽減し、また、グラフィック描画データ(グラフィック描画プレーン)を格納するメモリの容量も小さくすることが可能となる。
従って、データ処理能力が低く、またデータ記録用のメモリ容量の小さいテレビ等の装置においても、スクリプトの実行によって生成されるグラフィックデータを含む合成画像の出力を遅延なく確実に実行することが可能となる。
なお、上述した実施例では、高解像度グラフィックデータを4K、8K画像相当のグラフィックデータとし、低解像度グラフィックデータを2K画像相当のグラフィックデータとした例を説明したが、これは一例である。
HTML文書に記録されたスクリプトが8K画像相当のグラフィックデータの生成スクリプトである場合、解像度低下を伴うグラフィックデータ生成処理態様としては、例えば、2K画像相当のグラフィックデータ生成のみならず、4K画像相当のグラフィックデータを生成する処理も含まれる。
本開示のには、元のHTML文書のスクリプト記述に従った解像度を持つグラフィックデータより低い様々な解像度のグラフィックデータを生成する処理が含まれる。
[6.グラフィックデータ描画処理に際して解像度低下処理の要否判定を実行して判定結果に応じた処理を行なう実施例について]
上述した実施例では、受信装置30は、グラフィックデータ描画処理に際して、すべて解像度の低下処理を行ない、低解像度のグラフィックデータを描画する構成として説明した。
次に、グラフィックデータ描画処理に際して解像度低下処理の要否判定を実行して判定結果に応じた処理を行なう実施例について
受信装置30のリソースが十分である状況、例えば、グラフィックデータの描画処理に利用可能なリソースが十分であり、また、グラフィックデータの描画メモリの空き容量も十分である場合などにおいては、グラフィックデータの描画処理に際して解像度を低下させることなく、高解像度のグラフィックデータを描画することで、高解像度のグラフィックデータが表示可能となり、より高画質の画像を出力することができる。
例えば、HTML文書に記述されたスクリプトに従って描画されるグラフィックデータのサイズが小さい場合などには、スクリプトの実行によるグラフィックデータの描画処理の負荷も少なく、また、描画データを格納するメモリの容量も小さいもので十分である。
このような場合は、グラフィックデータの描画処理において解像度の低下処理を行なうことなくHTML文書に記述されたスクリプトをそのまま実行して、高解像度のグラフィック描画プレーンを生成してグラフィックデータ描画メモリに格納する構成としてもよい。
情報処理装置(受信装置30)が、グラフィックデータの描画処理に際して、解像度低下処理を行なうか否かを判定する場合、例えば以下のような判定処理を行なう。
(判定処理)情報処理装置(受信装置30)の利用可能なリソース(データ処理能力、メモリ容量)が、HTML文書に記述されたスクリプトによるグラフィックデータの描画処理を実行する十分なリソースであるか否かを判定する。
上記判定処理の結果として、リソースが十分であると判定した場合は、図5に示すグラフィックデータ描画処理部223は、グラフィックデータの描画処理に際して、解像度低下処理を行なわず、高解像度のグラフィック描画プレーンを生成して、図5に示すグラフィック描画メモリ224に格納する。
この場合、図5に示す画像変換部231は、画像拡大等の画像変換を実行せず、グラフィック描画メモリ224に格納された高解像度のグラフィック描画プレーンをそのまま合成部232に出力する。
一方、上記判定処理の結果として、リソースが十分でないと判定した場合は、図5に示すグラフィックデータ描画処理部223は、グラフィックデータの描画処理に際して、解像度低下処理を実行して、低解像度のグラフィック描画プレーンを生成して、図5に示すグラフィック描画メモリ224に格納する。
この場合、図5に示す画像変換部231は、画像拡大等の画像変換を実行する。すなわち、グラフィック描画メモリ224に格納された低解像度のグラフィック描画プレーンを、高解像度のグラフィックデータに相当する画像サイズに拡大し、拡大データを合成部232に出力する。
なお、リソース状況は、情報処理装置(受信装置30)のデータ処理状況に応じて逐次、変化する場合がある。
例えば情報処理装置(受信装置30)は、グラフィックデータの描画処理に並行して、グラフィックデータの描画処理以外のその他のデータ処理も行われる。このようなその他のデータ処理の負荷が大きいと、グラフィックデータの描画処理に割り当て可能なリソースは少なくなる。
一方、グラフィックデータの描画処理以外のその他のデータ処理の負荷が小さい場合は、グラフィックデータの描画処理に割り当て可能なリソースは多くなる。
このように、グラフィックデータの描画処理に割り当て可能なリソースは、遂次変動する可能性があり、グラフィックデータの描画処理に際して解像度低下処理を行なうか否かの判定を行なう場合、その時点での利用可能なリソースを確認した上で判定を行なうことが好ましい。
以下、図12、図13に示すフローチャートを参照して、グラフィックデータ描画処理に際して解像度低下処理の要否判定を実行し、判定結果に応じた処理を行なう実施例の処理シーケンスについて説明する。
図12、図13に示すフローチャートは、本開示の情報処理装置(受信装置30)の実行する処理の一例を示すシーケンスについて説明するフローチャートである。
受信装置30は、図12〜図13に示す処理シーケンスに従った処理の手順を記録したプログラムを記憶部に格納し、プログラム実行機能を持つCPU等を有するデータ処理部においてプログラムを実行して、図12〜図13に示すフローに従った処理を実行する。
なお、データ処理部は、例えば先に図5を参照して説明した各構成部の処理を実行する機能を有する。
以下、図12、図13に示すフローチャートの各ステップの処理について、順次、説明する。
(ステップS201〜S204)
ステップS201〜S204の処理は、先に図11に示すフローチャートを参照して説明したステップS101〜S104の処理と同じ処理である。
これらの処理をまとめて説明する。
受信装置のデータ処理部は、まず、ステップS201において、HTML文書の解析処理を実行する。
この処理は、図5に示すHTML文書処理部201の実行する処理に相当する。
次に、受信装置のデータ処理部は、ステップS202において、HTML文書に記述されたスタイルシートに従って、受信装置の表示部に表示する表示データのスタイル、すなわち、過去構成要素の表示位置等の表示態様(スタイル)を決定する。
この処理は、図5を参照して説明したレイアウト処理部202の実行する処理である。
次に、受信装置のデータ処理部は、ステップS203において、HTML文書の記述に従い、受信装置の表示部に表示する表示データの構成要素である画像、文字等の表示用データを生成する。
この処理は、図5を参照して説明したメディアデータ描画処理部(メディアレンダラ)204の実行する処理である。
メディアデータ描画処理部(メディアレンダラ)204は、レイアウト処理部202によって配置が決定された各領域に対して、例えば、放送局等の送信装置20から送信される高解像度(4K、8K等)の画像データを含む番組コンテンツの描画処理を実行する。
描画処理は、例えば放送番組を構成する文字、静止画、動画、それぞれ個別に行われる。
描画結果は、図5に示す文字、画像データ描画メモリ205内に、個別に記録される。図5に示すように、
文字データの描画結果は、文字描画プレーン211として文字、画像データ描画メモリ205内に格納される。
静止画データの描画結果は、静止画描画プレーン212として文字、画像データ描画メモリ205内に格納される。
動画データの描画結果は、動画描画プレーン213として文字、画像データ描画メモリ205内に格納される。
次に、受信装置のデータ処理部は、ステップS204において、スクリプトの実行によるグラフィックデータの描画処理が必要か否かを判定する。
ステップS201において解析したHTML文書にグラフィックデータの描画処理を実行させるためのスクリプト(ブラウザ上で実行されるプログラム)が含まれるか否かを判定する。
スクリプトの実行によるグラフィックデータの描画処理が必要であると判定した場合は、ステップS211に進む。
一方、スクリプトの実行によるグラフィックデータの描画処理が必要でないと判定した場合は、ステップS205に進む。
(ステップS205)
ステップS204において、スクリプトの実行によるグラフィックデータの描画処理が必要でないと判定した場合は、ステップS205に進む。
受信装置のデータ処理部は、ステップS205において、表示データ(高解像度の画像、文字等)を表示用フレームバッファに格納し、表示用フレームバッファの格納画像を表示部に出力して表示する処理を実行する。
具体的には、先に説明したステップS203において、図5に示す文字、画像データ描画メモリ205に描画した、以下の各描画プレーン、すなわち、
文字描画プレーン211、
静止画描画プレーン212、
動画描画プレーン213、
これらの描画プレーンを、図5に示す表示用フレームバッファ233に格納し、表示用フレームバッファ233の格納画像を表示部250に出力して表示する処理を実行する。
これらの処理では、グラフィックデータの表示処理は実行されず、放送局等の送信装置20から送信される高解像度(4K、8K等)のデータのみからなる表示用データが生成されて表示される。
(ステップS211)
ステップS211の処理は、先に図11に示すフローチャートを参照して説明したステップS111の処理と同じ処理である。
ステップS204において、スクリプトの実行によるグラフィックデータの描画処理が必要であると判定した場合は、ステップS211に進む。
受信装置のデータ処理部は、ステップS211において、グラフィックデータ描画処理用のスクリプト関連データを、図5に示すアプリケーション実行部(スクリプト実行エンジン)221に出力する。
(ステップS212)
ステップS212において、情報処理装置(受信装置30)のデータ処理部は、グラフィックデータの描画処理に際して、HTML文書のスクリプト記述に従った解像度を持つグラフィックデータではなく、解像度を低下させたグラフィックデータを描画する必要性があるか否かを判定する。
この判定処理は、例えば、先に説明した以下の判定処理として行われる。
(判定処理)情報処理装置(受信装置30)の利用可能なリソース(データ処理能力、メモリ容量)が、HTML文書に記述されたスクリプトによるグラフィックデータの描画処理を実行する十分なリソースであるか否かを判定する。
例えば、具体的には、HTML文書に記述されたスクリプトによる描画対象となるグラフィックデータのサイズ(大きさ)が、予め規定した規定サイズ以下であるような場合は、HTML文書に記述されたスクリプトによるグラフィックデータの描画処理の負荷は小さく、スクリプトを実行するに十分なリソースがあると判定し、解像度の低下処理を行なわない決定をすることができる。
一方、HTML文書に記述されたスクリプトによる描画対象となるグラフィックデータのサイズが、予め規定した規定サイズより大きい場合は、HTML文書に記述されたスクリプトによるグラフィックデータの描画処理の負荷が大きく、スクリプトを実行するに十分なリソースがないと判定し、解像度の低下処理を行なうことを決定するといった処理を行なう。
なお、前述したように、情報処理装置(受信装置30)の利用可能なリソース(データ処理能力、メモリ容量)は他のデータ処理実行状況に応じて変動しており、このその他のデータ処理の状況を考慮して判断することが好ましい、
例えば、他のデータ処理負荷が大きいときは、上記の判定処理に適用する「規定サイズ」を小さく設定し、他のデータ処理負荷が小さいときは、上記の「規定サイズ」を大きく設定する等の対応が可能である。
このように、ステップS212において、情報処理装置(受信装置30)のデータ処理部は、グラフィックデータの描画処理に際して、HTML文書のスクリプト記述に従った解像度を持つグラフィックデータでより、解像度を低下させたグラフィックイデータを描画する必要性があるか否かを判定する。
解像度を低下させたグラフィックデータを描画する必要性がないと判定した場合は、ステップS221に進む。
一方、解像度を低下させたグラフィックデータを描画する必要性があると判定した場合は、ステップS231に進む。
(ステップS221)
ステップS212において、解像度を低下させたグラフィックデータを描画する必要性がないと判定した場合は、ステップS221に進む。
図5に示すアプリケーション実行部(スクリプト実行エンジン)221は、ステップS221において、スクリプトを実行する。アプリケーション実行部(スクリプト実行エンジン)221は、アプリ実行用ワークメモリ222をワークエリアとして利用してスクリプトを実行する。
アプリケーション実行部(スクリプト実行エンジン)221は、HTML文書に記録されたスクリプトに従ったグラフィックデータの描画要求をグラフィックデータ描画処理部(グラフィックレンダラ)223に出力する。
なお、ステップS221〜S222においては、解像度の低下処理を行なわなずにスクリプトの記述に従った解像度を持つグラフィックデータの描画処理を行う。
(ステップS222)
ステップS222において、図5に示すグラフィックデータ描画処理部(グラフィックレンダラ)223が、アプリケーション実行部(スクリプト実行エンジン)221の処理要求に従って、グラフィックデータを、グラフィックデータ描画メモリ224に記録する。すなわち、グラフィックデータ描画メモリ224にグラフィック描画プレーンを生成する。
なお、前述したように、このステップS221〜S222においては、解像度の低下処理を行なわなずにスクリプトの記述に従った解像度を持つグラフィックデータの描画処理を行う。
グラフィックデータ描画メモリ224には、スクリプトの記述通りの高解像度のグラフィック描画プレーンが生成される。
(ステップS231)
次に、ステップS212において、解像度を低下させたグラフィックデータを描画する必要性があると判定した場合の処理であるステップS231〜S233の処理について説明する。
まず、ステップS231において、図5に示すアプリケーション実行部(スクリプト実行エンジン)221がスクリプトを実行する。アプリケーション実行部(スクリプト実行エンジン)221は、アプリ実行用ワークメモリ222をワークエリアとして利用してスクリプトを実行する。
アプリケーション実行部(スクリプト実行エンジン)221は、HTML文書に記録されたスクリプトに従ったグラフィックデータの描画要求をグラフィックデータ描画処理部(グラフィックレンダラ)223に出力する。
なお、ステップS231〜S233においては、スクリプトの記述に従った解像度よりも低い解像度のグラフィックデータの描画処理を行う。
前述したように、HTML文書に記録されたスクリプトは、高解像度グラフィックデータの描画処理用のスクリプトであり、例えばグラフィックデータの描画領域等を指定する座標は、4Kや8K等の高解像度対応の座標系で表現されている。
2K等の低解像度グラフィツクデータ(グラフィック描画プレーン)を生成するためには、HTML文書のスクリプトに記載された高解像度対応の座標指定情報を、低解像度対応の座標指定情報に変換して、グラフィックデータを描画する処理を行なうことが必要となる。
先に説明したように、この座標系の変換処理は、図5に示すアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかで行う。
例えば、図5に示すアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかにおいて、HTML文書に記録された高解像度グラフィックデータの描画処理用のスクリプトに記録された高解像度データ対応の座標データを低解像度データ対応の座標データに変換する処理を行なう。
この変換後の座標データに従って描画処理を実行することで、グラフィックデータ描画メモリ224には、低解像度のグラフィックデータ(グラフィック描画プレーン)が記録される。
(ステップS232)
ステップS232において、図5に示すグラフィックデータ描画処理部(グラフィックレンダラ)223が、アプリケーション実行部(スクリプト実行エンジン)221の処理要求に従って、グラフィックデータを、グラフィックデータ描画メモリ224に記録する。すなわち、グラフィックデータ描画メモリ224にグラフィック描画プレーンを生成する。
グラフィック描画処理部(グラフィックレンダラ)223は、HTML文書に記録されたスクリプトに従った高解像度のグラフィック描画プレーンを生成することなく、解像度を低下させたグラフィック描画プレーンを生成する。
すなわち、HTML文書に記録されたスクリプトに従った4Kや8K等の高解像度グラフィック描画プレーンの生成を行わず、解像度を低下させた、例えば2K画像相当のグラフィック描画プレーンの生成処理を行なう。
グラフィックデータ描画メモリ224に生成されるグラフィック描画プレーンは、HTML文書に記録されたスクリプトのオリジナルの解像度のグラフィックデータではなく、HTML文書に記録されたスクリプトのオリジナルの解像度より低い低解像度のグラフィックデータ(グラフィック描画プレーン)となる。
なお、前述したように、HTML文書に記録されたスクリプトは、高解像度グラフィックデータの描画処理用のスクリプトであり、例えばグラフィックデータの描画領域等を指定する座標は、4Kや8K等の高解像度対応の座標系で表現されている。
2K等の低解像度グラフィツクデータ(グラフィック描画プレーン)を生成するためには、HTML文書のスクリプトに記載された高解像度対応の座標指定情報を、低解像度対応の座標指定情報に変換して、グラフィックデータを描画する処理を行なうことが必要となる。
先に説明したように、この座標系の変換処理は、図5に示すアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかで行う。
例えば、図5に示すアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかにおいて、HTML文書に記録された高解像度グラフィックデータの描画処理用のスクリプトに記録された高解像度データ対応の座標データを低解像度データ対応の座標データに変換する処理を行なう。
この変換後の座標データに従って描画処理を実行することで、グラフィックデータ描画メモリ224には、低解像度のグラフィックデータ(グラフィック描画プレーン)が記録される。
(ステップS233)
次のステップS233の処理は、図5に示す画像変換部231の処理である。
画像変換部231は、ステップS233において、グラフィックデータ描画メモリ224に格納された低解像度グラフィックデータの画像拡大処理を実行する。
すなわち、グラフィックデータ描画メモリ224に格納された低解像度グラフィックデータを、HTML文書に記述されたスクリプトに従って生成される元の高解像度画像の表示態様に応じた大きさに変換する処理を実行する。
例えば、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンが2K画像相当の画像データであり、HTML文書に記録されたスクリプトに従った高解像度のグラフィックデータが4K画像相当のグラフィックデータである場合、画像変換部231は、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンを、縦方向サイズ、横方向サイズのそれぞれを2倍にする画像拡大処理を実行する。
画像変換部231の実行する画像拡大処理により、グラフィック描画プレーンは、HTML文書のスクリプトに従って生成されたオリジナルの解像度のグラフィックデータの大きさと同一の大きさを持つグラフィックデータとなる。
(ステップS241)
ステップS221〜S222における解像度の低下処理を伴わない高解像度グラフィックデータ(高解像度グラフィック描画プレーン)の描画処理、
または、ステップS231〜S233における解像度の低下処理による低解像度グラフィックデータ(低解像度グラフィック描画プレーン)の描画処理、
これらいずれかの処理が完了すると、ステップS241の処理を実行する。
ステップS241の処理は、図5に示す合成部232の実行する処理である。
合成部232は、文字、画像データ描画メモリ205に格納された文字、静止画、動画各々に対応する表示部出力用データである描画プレーン、すなわち、
文字描画プレーン211、
静止画描画プレーン212、
動画描画プレーン213、
これらの各描画プレーンと、
画像変換部231において拡大処理がなされたグラフィック描画プレーンとの合成処理を実行する。
文字、画像データ描画メモリ205に格納された文字描画プレーン211、静止画描画プレーン212、動画描画プレーン213、これらの描画プレーンは、HTML文書の記述に従って生成された描画プレーンであり、高解像度、例えば4K、あるいは8K等の高解像度データである。
一方、画像変換部231から入力するグラフィック描画プレーンは、
ステップS221〜S222の処理が実行されている場合は、HTML文書のスクリプト記述に従った高解像度のグラフィック描画プレーンである。
また、ステップS231〜S233の処理が実行されている場合は、HTML文書のスクリプト記述に従った高解像度のグラフィック描画プレーンではなく、解像度を低下させた低解像度のグラフィック描画プレーンの拡大データである。この場合、解像度は低いが、画像の大きさは、HTML文書に記録されたスクリプトを実行して得られるオリジナル解像度のグラフィック描画プレーンと同一の大きさを有する。
合成部232は、文字、画像データ描画メモリ205に格納された文字、静止画、動画各々に対応する高解像度の、
文字描画プレーン211、
静止画描画プレーン212、
動画描画プレーン213、
これらの各描画プレーンと、
ステップS221〜S222の処理によって生成された高解像度グラフィック描画プレーン、
または、ステップS231〜S233の処理によって生成された拡大された低解像度のグラフィック描画プレーン、
いずれかのグラフィック描画プレーンとの合成処理を実行する。
(ステップS242)
合成部232が、ステップS241における合成処理の結果として生成した合成画像は、ステップS242において、図5に示す表示用フレームバッファ233に格納され、表示部250に出力される。
以上、説明したように、図12〜図13に示すフローに従った処理は、グラフィックデータ描画処理に際して解像度低下処理の要否判定を実行して判定結果に応じた処理を行なう実施例である。
受信装置30のリソースが十分である状況、例えば、グラフィックデータの描画処理に利用可能なリソースが十分であり、また、グラフィックデータの描画メモリの空き容量も十分である場合などにおいては、グラフィックデータの描画処理に際して解像度を低下させることなく、高解像度のグラフィックデータを描画し、リソースが不十分であると判定した場合にのみ、低解像度のグラフィックデータの描画を実行する。
具体的はには、例えば、HTML文書に記述されたスクリプトに従って描画されるグラフィックデータのサイズに応じて、解像度の低下処理を実行するか否かを判定する。
また、情報処理装置(受信装置30)のデータ処理状況に応じて変化するリソース状況を考慮した処理を行なうことが好ましい。
これらの処理により、リソースが十分な場合には、表示部に出力するグラフィックデータを高解像度のまま出力することが可能となり、リソースが不十分な場合にのみ、解像度を低下させて出力するという選択的な処理が可能となる。
いずれの場合も、スクリプトの実行によって生成されるグラフィックデータを含む合成画像の出力を遅延なく確実に実行することが可能となる。
[7.情報処理装置の構成例について]
次に、上述した処理を実行する情報処理装置(受信装置30)の装置構成例について、図14を参照して説明する。
図14は、情報処理装置(受信装置30)として適用可能な通信装置のハードウェア構成例を示している。
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部506、ディスプレイ、スピーカなどよりなる出力部507が接続されている。CPU501は、入力部506から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部507に出力する。
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。
入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
なお、データの符号化あるいは復号は、データ処理部としてのCPU501の処理として実行可能であるが、符号化処理あるいは復号処理を実行するための専用ハードウェアとしてのコーデックを備えた構成としてもよい。
[8.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
前記グラフィック描画データ生成部は、スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、
前記合成部は、前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成する情報処理装置。
(2) 前記グラフィック描画データ生成部は、生成した低解像度グラフィックデータを、グラフィックデータ描画メモリに格納し、
画像変換部が、前記グラフィックデータ描画メモリに格納された低解像度グラフィックデータを、前記スクリプトの記述に従った解像度相当の高解像度グラフィックデータのサイズに一致させるデータ拡大処理を実行し、
前記合成部は、前記画像変換部によって拡大された低解像度グラフィックデータを用いて表示部出力用の合成画像を生成する(1)に記載の情報処理装置。
(3) 前記グラフィック描画データ生成部は、
HTML(Hyper Text Markup Language)文書内に記述されたスクリプトに従ったグラフィックデータの生成処理を実行する(1)または(2)に記載の情報処理装置。
(4) 前記グラフィック描画データ生成部は、
前記スクリプトに記述された高解像度対応の座標系を低解像度対応の座標系に変換して、前記低解像度グラフィックデータを生成する(1)〜(3)いずれかに記載の情報処理装置。
(5) 前記グラフィック描画データ生成部は、
ブラウザ上に2次元(2D)グラフィックデータを描画するスクリプトの仕様である「canvas」に従った高解像度対応の座標データ、あるいはブラウザ上に3次元(3D)グラフィックデータを描画するスクリプトの仕様である「WebGL」に従った高解像度対応の座標データを低解像度対応の座標データに変換して、前記低解像度グラフィックデータを生成する(1)〜(4)いずれかに記載の情報処理装置。
(6) 前記グラフィック描画データ生成部は、
スクリプトの記述に従った描画命令を出力するアプリケーション実行部と、
前記アプリケーション実行部の出力する描画命令に従った描画処理を実行するグラフィックデータ描画処理部を有する(1)〜(5)いずれかに記載の情報処理装置。
(7) 前記アプリケーション実行部、または、前記グラフィックデータ描画処理部の少なくとも一方が、前記スクリプトに記述された高解像度対応の座標系を低解像度対応の座標系に変換する処理を実行する(6)に記載の情報処理装置。
(8) 前記情報処理装置は、
HTML(Hyper Text Markup Language)文書内に記述されたスタイルシートに従ったレイアウト決定を行うレイアウト処理部を有し、
前記合成部は、前記レイアウト処理部の決定したレイアウトに従って生成された複数の異なる描画プレーンの合成処理を実行する(1)〜(7)いずれかに記載の情報処理装置。
(9) 前記グラフィック描画データ生成部は、
ブラウザ上に表示するグラフィックデータの生成処理を実行する(1)〜(8)いずれかに記載の情報処理装置。
(10) 前記合成部は、
ブラウザ上に表示する合成画像の生成処理を実行する(1)〜(9)いずれかに記載の情報処理装置。
(11) 前記グラフィック描画データ生成部は、
前記情報処理装置の利用可能なリソースが、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースであるか否かを判定し、
利用可能リソースが十分なリソースであると判定した場合は、前記スクリプトの記述に従った高解像度グラフィックデータを生成し、
利用可能リソースが十分なリソースでないと判定した場合には、前記スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成する(1)〜(10)いずれかに記載の情報処理装置。
(12) 前記グラフィック描画データ生成部は、
前記スクリプトの記述に従って生成するグラフィックデータのサイズに応じて、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースを利用可能か否かの判定処理を実行する(11)に記載の情報処理装置。
(13) 前記グラフィック描画データ生成部は、
前記情報処理装置のリソース利用状況に応じて、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースを利用可能か否かの判定処理を実行する(11)または(12)に記載の情報処理装置。
(14) 前記情報処理装置は、
送信装置から受信したHTML(Hyper Text Markup Language)文書の解析処理を実行するHTML文書処理部を有し、
前記グラフィック描画データ生成部は、
前記HTML文書処理部において解析されたHTML文書に含まれるスクリプトを実行する(1)〜(13)いずれかに記載の情報処理装置。
(15) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
前記グラフィック描画データ生成部が、
スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、
前記合成部は、
前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成する情報処理方法。
(16) 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
前記プログラムは、
前記グラフィック描画データ生成部に、
スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成させ、
前記合成部に、
前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、高解像度の画像データに、スクリプトに従って生成した低解像度グラフィックデータを合成して表示する構成が実現される。
具体的には、グラフィック描画データ生成部が、HTML文書内に記述されたスクリプトに従ってグラフィックデータの生成処理を行なう際、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成して描画メモリに格納する。画像変換部が、描画メモリ内の低解像度グラフィックデータを拡大して高解像度グフィックデータと同一のサイズに変換した後、その他の高解像度画像データ等と合成して出力する。
本構成により、高解像度の画像データに、スクリプトに従って生成した低解像度グラフィックデータを合成して表示する構成が実現される。
10 通信システム
20 送信装置
21 放送サーバ
22 広告サーバ
23 データ配信サーバ
30 受信装置
31 TV
32 PC
33 携帯端末
50 出力画像
101 文字、画像描画メモリ
102 アプリケーション実行部
103 グラフィックデータ描画メモリ
104 合成出力部
201 HTML文書処理部
202 レイアウト処理部
203 レイアウト処理用メモリ
204 メディアデータ描画処理部(メディアレンダラ)
205 文字、画像データ描画メモリ
211 文字描画プレーン
212 静止画描画プレーン
213 動画描画プレーン
220 グラフィック描画データ生成部
221 アプリケーション実行部(スクリプト実行エンジン)
222 アプリ実行用ワークメモリ
223 グラフィックデータ描画処理部(グラフィックレンダラ)
224 グラフィックデータ描画メモリ(グラフィック描画プレーン)
231 画像本管部
232 合成部
233 表示用フレームバッファ
250 表示部
301 スタイルシート
302 スクリプト
303 ボディ
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア

Claims (14)

  1. グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
    前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
    前記グラフィック描画データ生成部は、スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、生成した低解像度グラフィックデータを、グラフィックデータ描画メモリに格納し、
    画像変換部が、前記グラフィックデータ描画メモリに格納された低解像度グラフィックデータを、前記スクリプトの記述に従った解像度相当の高解像度グラフィックデータのサイズに一致させるデータ拡大処理を実行し、
    前記合成部は、前記画像変換部によって拡大された低解像度グラフィックデータを用いて表示部出力用の合成画像を生成する構成であり、
    前記グラフィック描画データ生成部は、
    前記スクリプトに記述された高解像度のグラフィックデータの座標系を低解像度のグラフィックデータの座標系に変換し、変換した低解像度のグラフィックデータの座標系に従った描画処理を実行して前記低解像度グラフィックデータを生成し、
    前記画像変換部は、
    前記グラフィックデータ描画メモリに格納された前記低解像度グラフィックデータを、前記スクリプトに記述された高解像度のグラフィックデータの座標系に従った大きさのグラフィックデータに拡大する画像拡大処理を実行する情報処理装置。
  2. 前記グラフィック描画データ生成部は、
    HTML(Hyper Text Markup Language)文書内に記述されたスクリプトに従ったグラフィックデータの生成処理を実行する請求項1に記載の情報処理装置。
  3. 前記グラフィック描画データ生成部は、
    ブラウザ上に2次元(2D)グラフィックデータを描画するスクリプトの仕様である「canvas」に従った高解像度対応の座標データ、あるいはブラウザ上に3次元(3D)グラフィックデータを描画するスクリプトの仕様である「WebGL」に従った高解像度対応の座標データを低解像度対応の座標データに変換して、前記低解像度グラフィックデータを生成する請求項1〜2いずれかに記載の情報処理装置。
  4. 前記グラフィック描画データ生成部は、
    スクリプトの記述に従った描画命令を出力するアプリケーション実行部と、
    前記アプリケーション実行部の出力する描画命令に従った描画処理を実行するグラフィックデータ描画処理部を有する請求項1〜3いずれかに記載の情報処理装置。
  5. 前記アプリケーション実行部、または、前記グラフィックデータ描画処理部の少なくとも一方が、前記スクリプトに記述された高解像度対応の座標系を低解像度対応の座標系に変換する処理を実行する請求項4に記載の情報処理装置。
  6. 前記情報処理装置は、
    HTML(Hyper Text Markup Language)文書内に記述されたスタイルシートに従ったレイアウト決定を行うレイアウト処理部を有し、
    前記合成部は、前記レイアウト処理部の決定したレイアウトに従って生成された複数の異なる描画プレーンの合成処理を実行する請求項1〜5いずれかに記載の情報処理装置。
  7. 前記グラフィック描画データ生成部は、
    ブラウザ上に表示するグラフィックデータの生成処理を実行する請求項1〜6いずれかに記載の情報処理装置。
  8. 前記合成部は、
    ブラウザ上に表示する合成画像の生成処理を実行する請求項1〜7いずれかに記載の情報処理装置。
  9. 前記グラフィック描画データ生成部は、
    前記情報処理装置の利用可能なリソースが、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースであるか否かを判定し、
    利用可能リソースが十分なリソースであると判定した場合は、前記スクリプトの記述に従った高解像度グラフィックデータを生成し、
    利用可能リソースが十分なリソースでないと判定した場合には、前記スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成する請求項1〜8いずれかに記載の情報処理装置。
  10. 前記グラフィック描画データ生成部は、
    前記スクリプトの記述に従って生成するグラフィックデータのサイズに応じて、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースを利用可能か否かの判定処理を実行する請求項9に記載の情報処理装置。
  11. 前記グラフィック描画データ生成部は、
    前記情報処理装置のリソース利用状況に応じて、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースを利用可能か否かの判定処理を実行する請求項9または10に記載の情報処理装置。
  12. 前記情報処理装置は、
    送信装置から受信したHTML(Hyper Text Markup Language)文書の解析処理を実行するHTML文書処理部を有し、
    前記グラフィック描画データ生成部は、
    前記HTML文書処理部において解析されたHTML文書に含まれるスクリプトを実行する請求項1〜11いずれかに記載の情報処理装置。
  13. 情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、
    グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
    前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
    前記グラフィック描画データ生成部が、
    スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、生成した低解像度グラフィックデータを、グラフィックデータ描画メモリに格納し、
    画像変換部が、前記グラフィックデータ描画メモリに格納された低解像度グラフィックデータを、前記スクリプトの記述に従った解像度相当の高解像度グラフィックデータのサイズに一致させるデータ拡大処理を実行し、
    前記合成部は、前記画像変換部によって拡大された低解像度グラフィックデータを用いて表示部出力用の合成画像を生成する処理を実行し、
    前記グラフィック描画データ生成部は、
    前記スクリプトに記述された高解像度のグラフィックデータの座標系を低解像度のグラフィックデータの座標系に変換し、変換した低解像度のグラフィックデータの座標系に従った描画処理を実行して前記低解像度グラフィックデータを生成し、
    前記画像変換部は、
    前記グラフィックデータ描画メモリに格納された前記低解像度グラフィックデータを、前記スクリプトに記述された高解像度のグラフィックデータの座標系に従った大きさのグラフィックデータに拡大する画像拡大処理を実行する情報処理方法。
  14. 情報処理装置において情報処理を実行させるプログラムであり、
    前記情報処理装置は、
    グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
    前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
    前記プログラムは、
    前記グラフィック描画データ生成部に、
    スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成させ、生成させた低解像度グラフィックデータを、グラフィックデータ描画メモリに格納させ、
    画像変換部に、前記グラフィックデータ描画メモリに格納された低解像度グラフィックデータを、前記スクリプトの記述に従った解像度相当の高解像度グラフィックデータのサイズに一致させるデータ拡大処理を実行させ、
    前記合成部に、前記画像変換部によって拡大された低解像度グラフィックデータを用いて表示部出力用の合成画像を生成させ、
    前記プログラムは、
    前記グラフィック描画データ生成部に、
    前記スクリプトに記述された高解像度のグラフィックデータの座標系を低解像度のグラフィックデータの座標系に変換させ、変換した低解像度のグラフィックデータの座標系に従った描画処理を実行して前記低解像度グラフィックデータを生成させ、
    前記画像変換部に、
    前記グラフィックデータ描画メモリに格納された前記低解像度グラフィックデータを、前記スクリプトに記述された高解像度のグラフィックデータの座標系に従った大きさのグラフィックデータに拡大する画像拡大処理を実行させるプログラム。
JP2017544509A 2015-10-09 2016-10-04 情報処理装置、および情報処理方法、並びにプログラム Active JP6891811B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015201101 2015-10-09
JP2015201101 2015-10-09
PCT/JP2016/079518 WO2017061434A1 (ja) 2015-10-09 2016-10-04 情報処理装置、および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2017061434A1 JPWO2017061434A1 (ja) 2018-07-26
JP6891811B2 true JP6891811B2 (ja) 2021-06-18

Family

ID=58487726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017544509A Active JP6891811B2 (ja) 2015-10-09 2016-10-04 情報処理装置、および情報処理方法、並びにプログラム

Country Status (3)

Country Link
EP (1) EP3361739A4 (ja)
JP (1) JP6891811B2 (ja)
WO (1) WO2017061434A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112433261A (zh) * 2020-11-25 2021-03-02 猫岐智能科技(上海)有限公司 扫描成像监测系统及方法以及电动车入梯扫描成像监测系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306386B2 (en) * 2004-12-01 2012-11-06 Panasonic Corporation Reproduction device, image synthesis method, image synthesis program, and integrated circuit
JP2007057586A (ja) * 2005-08-22 2007-03-08 Sony Corp 画像処理装置、画像処理方法及びテレビ受信機
JP5322529B2 (ja) * 2008-07-29 2013-10-23 キヤノン株式会社 表示装置、表示制御方法

Also Published As

Publication number Publication date
WO2017061434A1 (ja) 2017-04-13
EP3361739A1 (en) 2018-08-15
EP3361739A4 (en) 2018-08-15
JPWO2017061434A1 (ja) 2018-07-26

Similar Documents

Publication Publication Date Title
JP5306429B2 (ja) デジタルドキュメント処理のための方法
US9870801B2 (en) Systems and methods for encoding multimedia content
JP5290487B2 (ja) デジタルドキュメント処理のためのシステム及び方法
US8237740B2 (en) Method and system for receiving a local vector object and viewing a vector image
US9426476B2 (en) Video stream
CN105518614A (zh) 用于多屏幕应用程序的屏幕录制
KR20150081638A (ko) 전자장치 및 전자장치에서의 웹 플랫폼 동작방법
CN109963191A (zh) 一种视频信息的处理方法、装置及存储介质
CN107179920B (zh) 网络引擎启动方法及装置
CN109327698B (zh) 动态预览图的生成方法、系统、介质和电子设备
CN113946402A (zh) 基于渲染分离的云手机加速方法、系统、设备及存储介质
JP2010286811A (ja) 組立式表示設備およびその画面制御方法とシステム
KR20040071176A (ko) 멀티미디어 콘텐츠 재목적화 방법
US10133711B2 (en) Display apparatus and control method thereof
EP3764216B1 (en) Display device and control method thereof
KR101997129B1 (ko) 사이니지 콘텐츠 생성 방법
JP6891811B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
EP1528512A2 (en) Graphic decoder, image reproduction apparatus and method for graphic display acceleration based on commands
JP2017005544A (ja) 画像情報処理方法
KR20050040712A (ko) 명령어 기반 그래픽 출력 가속 기능이 포함된 2차원그래픽 디코더, 그 그래픽 출력 가속 방법 및 영상 재생장치
JP2011511991A (ja) グラフィックディジタル文書の動画化装置および方法
KR20140133096A (ko) 가상화 웹 iptv 및 이를 이용한 동영상 스트리밍 방법
EP2693426A1 (en) Display apparatus, image post-processing apparatus and method for image post-processing of contents
CN114567793A (zh) 直播互动特效的实现方法及装置、存储介质、电子设备
KR20200106161A (ko) 이미지 프로세싱

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210510

R151 Written notification of patent or utility model registration

Ref document number: 6891811

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151