WO2017061434A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2017061434A1
WO2017061434A1 PCT/JP2016/079518 JP2016079518W WO2017061434A1 WO 2017061434 A1 WO2017061434 A1 WO 2017061434A1 JP 2016079518 W JP2016079518 W JP 2016079518W WO 2017061434 A1 WO2017061434 A1 WO 2017061434A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
graphic
resolution
script
graphic data
Prior art date
Application number
PCT/JP2016/079518
Other languages
English (en)
French (fr)
Inventor
義治 出葉
塚越 郁夫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP16853588.8A priority Critical patent/EP3361739A4/en
Priority to JP2017544509A priority patent/JP6891811B2/ja
Publication of WO2017061434A1 publication Critical patent/WO2017061434A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/391Resolution modifying circuits, e.g. variable screen formats
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/393Arrangements for updating the contents of the bit-mapped memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00Solving problems of bandwidth in display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program. More specifically, the present invention relates to an information processing apparatus, an information processing method, and a program for superimposing and displaying graphic data generated by executing a script (program) on display data including images and characters.
  • a script program
  • Ultra-high Definition images for example, 4K images with an increased number of pixels and 8K images will increase as image quality further increases.
  • Patent Document 1 Japanese Patent Laid-Open No. 2007-133898
  • Patent Document 2 Japanese Patent Laid-Open No. 2015-099340
  • a general television has a smaller memory capacity and a lower data processing function than a data processing device such as a PC. Therefore, for example, even if an image is displayed using the above-described 4K browser or 8K browser, there are many cases where smooth display cannot be performed.
  • JP 2007-133898 A Japanese Patent Laid-Open No. 2015-099340
  • the present disclosure has been made in view of, for example, the above-described problems.
  • an information processing apparatus such as a television having a small usable memory capacity and low data processing capability
  • the present disclosure is combined with a high resolution image such as a 4K image or an 8K image. It is an object of the present invention to provide an information processing apparatus, an information processing method, and a program capable of reliably generating and displaying various graphic data.
  • the first aspect of the present disclosure is: A graphic drawing data generation unit for executing graphic data generation processing; A combining unit that combines the graphic data generated by the graphic drawing data generation unit and the image data to generate a combined image for display unit output; The graphic drawing data generation unit generates low-resolution graphic data having a resolution lower than the resolution according to the script description when generating graphic data according to the script, The synthesis unit is in an information processing apparatus that generates a composite image for display unit output using enlarged data of the low-resolution graphic data.
  • the second aspect of the present disclosure is: An information processing method executed in an information processing apparatus,
  • the information processing apparatus includes: A graphic drawing data generation unit for executing graphic data generation processing; A combining unit that combines the graphic data generated by the graphic drawing data generation unit and the image data to generate a combined image for display unit output;
  • the graphic drawing data generation unit In the graphic data generation process according to the script, low resolution graphic data having a resolution lower than the resolution according to the script description is generated.
  • the synthesis unit is An information processing method for generating a composite image for display unit output using enlarged data of the low-resolution graphic data.
  • the third aspect of the present disclosure is: A program for executing information processing in an information processing apparatus;
  • the information processing apparatus includes: A graphic drawing data generation unit for executing graphic data generation processing; A combining unit that combines the graphic data generated by the graphic drawing data generation unit and the image data to generate a combined image for display unit output;
  • the program is In the graphic drawing data generation unit, In the graphic data generation process according to the script, low resolution graphic data having a resolution lower than the resolution according to the script description is generated, In the synthesis unit, A program for generating a composite image for display unit output using enlarged data of the low-resolution graphic data.
  • the program of the present disclosure is a program that can be provided by, for example, a storage medium or a communication medium provided in a computer-readable format to an information processing apparatus or a computer system that can execute various program codes.
  • a program in a computer-readable format, processing corresponding to the program is realized on the information processing apparatus or the computer system.
  • system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
  • a configuration in which low-resolution graphic data generated according to a script is combined with high-resolution image data and displayed is realized.
  • the graphic drawing data generation unit performs graphic data generation processing according to a script described in an HTML document, it generates low-resolution graphic data having a resolution lower than the resolution according to the script description.
  • the image conversion unit enlarges the low-resolution graphic data in the drawing memory and converts it to the same size as the high-resolution graphic data, and then synthesizes and outputs it with other high-resolution image data.
  • the communication system 10 includes a transmission device 20 that is a communication device that transmits content such as image data and audio data, and a reception device 30 that is a communication device that receives content transmitted by the transmission device 20.
  • a transmission device 20 that is a communication device that transmits content such as image data and audio data
  • a reception device 30 that is a communication device that receives content transmitted by the transmission device 20.
  • the transmission device 20 includes, for example, a broadcast server (broadcast station) 21 that mainly transmits TV programs, an advertisement server 22 that mainly transmits advertisement data, and a data distribution server 23 that transmits various data. And the like, which provide various contents (broadcast programs, advertisements, other data).
  • the receiving device 30 is a client device of a general user, and specifically includes, for example, a television 31, a PC 32, a portable terminal 33, and the like.
  • a broadcast server (broadcast station) 21, an advertisement server 22, and a data distribution server 23 are distinguished from each other, but one server is a broadcast program, an advertisement, and other data.
  • a broadcast server broadcast station
  • an advertisement server 22 that mainly transmits advertisement data
  • a data distribution server 23 that transmits various data.
  • the receiving device 30 is a client device of a general user, and specifically includes, for example, a television 31, a PC 32, a portable terminal 33, and the like.
  • Data communication between the transmission device 20 and the reception device 30 is performed as communication using at least one of bidirectional communication, one-way communication, one-way communication using a broadcast wave, or the like via a network such as the Internet. Is called.
  • the transmission device 20 transmits normal program content to the reception device 30, and further transmits data to be displayed superimposed on the normal program, such as data broadcasting and animation display, a display processing program, and the like. Specifically, for example, various data such as an HTML (Hyper Text Markup Language) file, other image data, and an application program (script) are transmitted.
  • HTML Hyper Text Markup Language
  • the receiving device 30 executes a process of outputting normal program content to an output unit such as a display unit or a speaker.
  • the receiving device 30 has a browser execution function, interprets the HTML document file, and outputs output data according to the description data of the HTML document file to an output unit including a display unit and a speaker.
  • the browser is, for example, an application program for browsing a Web page, and can be combined with a script (program) such as an HTML document file, an image file, an audio file, or a Java (registered trademark) script file, and the image, audio, animation, etc.
  • a script such as an HTML document file, an image file, an audio file, or a Java (registered trademark) script file, and the image, audio, animation, etc.
  • the receiving device 30 can superimpose and display various moving images, still images, animations, and the like in addition to a normal broadcast program on the display unit of the receiving device by executing a browser.
  • FIG. 2 is a diagram illustrating an example of an image display process using a browser in the reception device 30.
  • Various data used for generating display data using a browser is transmitted to the receiving device 30 from the transmitting device 20 such as a broadcasting station in addition to normal program content.
  • the transmitting device 20 such as a broadcasting station in addition to normal program content.
  • an HTML document file, an image file, an audio file, and a script file such as a Java (registered trademark) script that can execute a program execution function such as an animation display process on a browser are transmitted.
  • a Java registered trademark
  • the receiving apparatus 30 uses these data to generate and display the output image 50 shown in FIG.
  • Normal program content is temporarily stored in the character and image data drawing memory 101 shown in the figure.
  • Each data such as an image, a character, and voice constituting the program content transmitted from the transmission device 20 is compression encoded data, and the reception device 30 executes a process for decoding the encoded data, and displays the decoding result.
  • Character and image data are stored in the drawing memory 101.
  • the receiving device 30 inputs an HTML document file, an image file, an audio file, etc. received from the transmitting device 20 to the application execution unit 102.
  • the application execution unit 102 analyzes the HTML document file received from the transmission device 20 and generates output data according to the description of the HTML document file.
  • the HTML document file includes a style sheet for defining a style of output data, information such as images, sounds, and texts constituting the output data, and further, for example, Java that realizes graphic data generation and animation execution functions.
  • Various information such as a script (program) such as a (registered trademark) script is included, and the application execution unit 102 generates output data using these pieces of information.
  • graphics data is display data generated according to the description of a script. Specifically, for example, display data such as two-dimensional (2D) or three-dimensional (3D) graphic data calculated by applying coordinate data described in a script included in an HTML document.
  • the script is a program (application) that can be executed on a browser capable of generating various output data.
  • FIG. 2 shows an example using a script for generating rectangular and semicircular graphic data.
  • the script for generating rectangular or semicircular graphic data shown in FIG. 2 includes, for example, vertex coordinate data that defines a rectangular shape for generating rectangular drawing data, and the color and mode of the outline (solid line, dotted line) Etc.) and various drawing designation information (drawing commands, drawing commands, etc.) of the drawing mode (filling color, etc.) in the contour are included.
  • the application execution unit (script execution unit) 102 generates various graphic data according to the drawing designation information.
  • the generated graphic data is stored in the graphic data drawing memory (intermediate drawing graphic data buffer) 103 shown in FIG.
  • the composition output unit 104 executes composition processing (superimposition processing) of the program content stored in the character / image data drawing memory 101 and the graphic data stored in the graphic data drawing memory (intermediate drawing graphic data buffer) 103,
  • the composite image is output as an output image 50 to the display unit of the receiving device 30.
  • the output image 50 is a display image on the browser.
  • the output image size by the browser is required to be increased, such as a 4K image of 3840 ⁇ 2160 pixels, a 4K browser having the same image size as an 8K image of 7680 ⁇ 4320 pixels, or an 8K browser.
  • the current television has a smaller usable memory capacity and a lower data processing function than a data processing device such as a PC. Even if such a low-functional resource is used to display an image using the above-described 4K browser or 8K browser, there is a high possibility that smooth display cannot be performed.
  • the graphic data generation load is excessive, and high-resolution graphic data is stored.
  • the capacity of the drawing memory is also insufficient, and as a result, there is a problem that smooth graphic data generation and display processing cannot be performed.
  • FIG. 3 shows a high-resolution image of 4K or 8K of program content transmitted from the transmission device 20 such as a broadcasting station to the reception device 30, and HTML that the transmission device 20 transmits to the reception device 30 together with the program content. It is a figure which shows the example of a display data production
  • the receiving device 30 executes decoding processing of encoded data of the 4K or 8K high-resolution image transmitted from the transmitting device 20 and stores the high-resolution image data as a decoding result in the character / image data drawing memory 101. To do.
  • the receiving device 30 inputs the script recorded in the HTML document file received from the transmitting device 20 to the application execution unit 102, executes the script, and generates graphic data including 4K or 8K high resolution image data. Generate.
  • the generated graphic data is stored in the graphic data drawing memory (intermediate drawing graphic data buffer) 103 shown in FIG.
  • the composition output unit 104 executes composition processing (superimposition processing) of the program content stored in the character / image data drawing memory 101 and the graphic data stored in the graphic data drawing memory (intermediate drawing graphic data buffer) 103,
  • the composite image is output as an output image 50 to the display unit of the receiving device 30.
  • the output image 50 is a display image on the browser.
  • the application execution unit 102 executes processing for generating graphic data including 4K or 8K high resolution image data, and the generated high resolution graphic data is stored in the graphic data drawing memory (intermediate drawing graphic data). Buffer) 103 must be stored.
  • the graphic data drawing memory (intermediate drawing graphic data buffer) 103 needs to have a large memory capacity.
  • the receiving device 30 such as a television with insufficient data processing resources takes time to generate graphic data. Also, the receiving device 30 such as a television with a small memory capacity cannot record (buffer) the generated high-resolution graphic data. As a result, there is a possibility that the graphic data cannot be output.
  • FIG. 4 is a diagram illustrating an example of image output processing using a browser in the reception device 30 of the present disclosure.
  • the example shown in FIG. 4 is a 4K or 8K high-resolution image in which the program content transmitted from the transmitting device 20 such as a broadcasting station to the receiving device 30 is the same as the example described with reference to FIG.
  • This is an example in which the script recorded in the HTML document file transmitted to the receiving device 30 together with the program content by the transmitting device 20 is also a 4K or 8K high-resolution graphic data rendering processing script.
  • the receiving device 30 executes decoding processing of encoded data of the 4K or 8K high-resolution image transmitted from the transmitting device 20 and stores the high-resolution image data as a decoding result in the character / image data drawing memory 101. To do.
  • the receiving device 30 inputs the script recorded in the HTML document file received from the transmitting device 20 to the application execution unit 102 and executes the script.
  • the application execution unit 102 does not generate graphic data composed of high resolution image data of 4K or 8K, but generates graphic data composed of low resolution image data.
  • 2K low-resolution graphic data is generated and stored in the graphic data drawing memory (intermediate drawing graphic data buffer) 103 shown in FIG.
  • the composition output unit 104 executes composition processing (superimposition processing) of the program content stored in the character / image data drawing memory 101 and the graphic data stored in the graphic data drawing memory (intermediate drawing graphic data buffer) 103.
  • the composition output unit 104 executes an enlargement process of the low-resolution graphic data stored in the graphic data drawing memory (intermediate drawing graphic data buffer) 103 during the composition process. That is, an image conversion (image enlargement) process for changing to the data size of the original high resolution (4K or 8K) image is executed, the converted graphic data, the program content stored in the character and image data drawing memory 101, and The combined image is output as an output image 50 to the display unit of the receiving device 30.
  • the application execution unit 102 executes processing for generating graphic data including, for example, 2K low-resolution image data, and the generated low-resolution graphic data is stored in the graphic data drawing memory (intermediate drawing graphic data buffer) 103. Execute the process stored in.
  • the graphic data generation processing load can be reduced. Also, the memory capacity of the graphic data drawing memory (intermediate drawing graphic data buffer) 103 can be reduced.
  • the receiving device 30 such as a television with insufficient data processing resources and memory resources can perform graphic data generation processing at high speed, and output an error-free composite image. Can be executed.
  • FIG. 5 is a block diagram illustrating a partial configuration of the receiving device 30.
  • FIG. 5 shows a configuration in which the receiving device 30 generates a composite image made up of program content and graphic data based on the HTML document file received from the transmitting device 20 and displays it on the display unit.
  • the HTML document processing unit 201 interprets the HTML document file received from the transmission device 20.
  • An example of an HTML document is shown in FIG. As shown in FIG. (A) Style sheet 301, (B) Script 302, (C) body 303, Having these components.
  • the style sheet 301 is data that defines the arrangement and design of each component (text, still image, moving image, graphic data, etc.) displayed on the browser screen.
  • the style sheet 301 is configured as a style sheet using, for example, a CSS (Cascading Style Sheet) language.
  • CSS CSS
  • By applying a style sheet using CSS it is possible to display, for example, an animation in which movement is added to display information, so-called CSS animation.
  • the script 302 is, for example, a graphic data generation program.
  • the script 302 is a program that can be executed on a browser, and specifically includes a Java (registered trademark) script.
  • Java registered trademark
  • the body 303 is an area in which, for example, text output on a browser screen generated according to an HTML document, data such as moving images and still images, data for generating graphic data, and the like are recorded. As shown in the figure, for example, character data information 311, moving image data information 312, still image data information 313, graphic data information 314, and the like are recorded.
  • the style sheet 301 is data that defines the arrangement and design of each component (text, still image, moving image, graphic data, etc.) displayed on the browser screen.
  • FIG. 7 shows a partial configuration of the style sheet.
  • Information such as outline information 321, area information 322, background color information 323, margin information 324, and the like are included.
  • the example shown in FIG. 7 is information that defines, for example, a part of the rectangular area of the browser screen. For example, it corresponds to the regulation information of the text display area.
  • the contour line information 321 defines a turk orange solid line having a width of 4 pixels.
  • the area information 322 defines a rectangular area having a width of 200 pixels and a height of 50 pixels.
  • the background color information 323 defines gold.
  • the margin information 324 defines a 50 pixel margin.
  • the text is a rectangular area with a width of 200 pixels and a height of 50 pixels surrounded by a dark orange solid line defined by these information, and the text is displayed with a margin of 50 pixels in the area where the background color is set to cold. Is done.
  • the text is the text recorded in the body 303 of the HTML document shown in FIG.
  • the example shown in FIG. 7 is an example of the style sheet 301, and data defining the display styles of various other data displayed on the browser screen is recorded in the style sheet 301.
  • style sheets such as the CSS style sheet that realizes the animation display described above.
  • the script 302 is, for example, a graphic data generation program.
  • the script 302 is a program that can be executed on the browser, and specifically includes a Java (registered trademark) script.
  • Scripts include not only graphic data generation but also scripts that execute various processes such as three-dimensional image data generation and output processing, animation graphic data generation and output processing.
  • FIG. 8 An example of the script is shown in FIG.
  • the example shown in FIG. 8 is an example of a script that executes processing for generating two-dimensional (2D) graphic data.
  • the two-dimensional (2D) graphic data generation processing execution script shown in FIG. 8 includes, for example, the following drawing commands.
  • strokeStyle rgb (00,00,255)
  • C context.
  • fillStyle rgb (255,00,00)
  • D strokeRect (2000, 800, 1000, 500) (E) context.
  • fillRect 200, 400, 500, 1000
  • This description is a drawing command for a rectangle, and indicates that a rectangle having a width of 500 (pixels) and a height of 1000 (pixels) is drawn starting from a position of 200 (pixels) from the left and 400 (pixels) from the top. It is a description to do.
  • strokeRect 2000, 800, 1000, 500
  • This description is a drawing command for a quadrangular border, and a quadrangular border with a width of 1000 (pixels) and a height of 500 (pixels) starting from a position of 2000 (pixels) from the left and 800 (pixels) from the top. Is a description for instructing drawing.
  • the application (script) execution unit of the receiving apparatus interprets the description of such a script and executes graphic data drawing and display processing.
  • the example of the script illustrated in FIG. 8 is an example of a script that executes drawing processing of two-dimensional (2D) graphic data.
  • FIGS. 9 and 10 show examples of scripts for executing drawing processing of three-dimensional (3D) graphic data.
  • the script for executing the drawing process of the three-dimensional (3D) graphic data includes the following description, for example.
  • the application (script) execution unit of the receiving device interprets the description of such a script, and executes 3D graphic data drawing and animation display processing.
  • the HTML document processing unit 201 executes an HTML document analysis process having the configuration described with reference to FIG.
  • the layout processing unit 202 determines a layout such as the arrangement of each proofreading element in the browser screen according to the style sheet included in the HTML document. In this layout process, the memory process memory 203 is used.
  • the media data rendering processing unit (media renderer) 204 has a high resolution (4K, 8K, etc.) transmitted from the transmitting device 20 such as a broadcasting station, for example, for each region whose arrangement is determined by the layout processing unit 202. A drawing process of program content including image data is executed.
  • the drawing process is performed individually for each of characters, still images, and moving images constituting a broadcast program, for example.
  • the drawing result is individually recorded in the character / image data drawing memory 205.
  • the character data drawing result is stored in the character / image data drawing memory 205 as the character drawing plane 211.
  • the drawing result of the still image data is stored in the character and image data drawing memory 205 as the still image drawing plane 212.
  • the drawing result of the moving image data is stored in the character / image data drawing memory 205 as the moving image drawing plane 213.
  • high resolution (4K, 8K, etc.) data transmitted from the transmission device 20 such as a broadcasting station are all high resolution (4K, 8K, etc.) data transmitted from the transmission device 20 such as a broadcasting station. That is, in the character / image data drawing memory 205, high-resolution (4K, 8K, etc.) character, still image, and moving image data are stored.
  • the application execution unit (script execution engine) 221 in the graphic drawing data generation unit 220 shown in FIG. 5 is necessary for executing script data in the HTML document analyzed by the HTML document processing unit 201 and the script. Each data is input.
  • the application execution unit (script execution engine) 221 executes a script based on these input data. Processing for executing a script is performed using the application execution work memory 222 as a work area.
  • the script is, for example, a program that outputs graphic data shown in the graphic data drawing memory 103 in FIG.
  • the script is configured by a program that generates various data such as a still image, a moving image, audio, 2D data, and 3D data.
  • the application execution unit (script execution engine) 221 outputs a graphic data drawing request in accordance with the script recorded in the HTML document to the graphic data drawing processing unit (graphic renderer) 223.
  • the graphic data drawing processing unit (graphic renderer) 223 records graphic data in the graphic data drawing memory 224 in accordance with a processing request from the application execution unit (script execution engine) 221. That is, a graphic drawing plane is generated in the graphic data drawing memory 224.
  • the graphic drawing processing unit (graphic renderer) 223 generates a graphic drawing plane with reduced resolution without generating a high-resolution graphic drawing plane according to the script recorded in the HTML document. To do.
  • the graphic drawing data generation unit 220 does not generate a high-resolution graphic drawing plane such as 4K or 8K according to a script recorded in an HTML document, but has a graphic drawing plane with a reduced resolution, for example, equivalent to a 2K image.
  • a graphic drawing plane having a resolution is generated.
  • the graphic drawing plane generated in the graphic data drawing memory 224 is not the graphic data of the original resolution of the script recorded in the HTML document, but a low resolution lower than the original resolution of the script recorded in the HTML document.
  • Graphic data graphics drawing plane
  • a graphic drawing plane is drawn in an area where the layout is determined by the layout processing unit 202.
  • the graphic data generated according to the script is set to low resolution data, so that it is possible to reduce the graphic data drawing processing load according to the script, and in the storage area of the generated graphic data.
  • the required capacity of a certain graphic data drawing memory 224 can be reduced.
  • the script description of the HTML document is composed of a graphic data rendering command equivalent to a 4K image and the graphic rendering processing unit (graphic renderer) 223 records graphic data equivalent to a 2K image in the graphic data rendering memory 224
  • the graphic data corresponding to the 2K image is 1 ⁇ 4 size of the graphic data corresponding to the 4K image. That is, the data size is reduced to 1 ⁇ 2 in both the vertical and horizontal directions.
  • the script description of the HTML document is composed of a graphic data rendering command corresponding to an 8K image
  • the graphic rendering processing unit (graphic renderer) 223 records the graphic data corresponding to the 2K image in the graphic data rendering memory 224.
  • the graphic data corresponding to the 2K image is data having a size of 1/8 of the graphic data corresponding to the 8K image. That is, the data size is reduced to 1/4 in both the vertical and horizontal directions.
  • the script recorded in the HTML document is a script for drawing processing of high-resolution graphic data.
  • coordinates specifying a drawing area of graphic data are expressed in a high-resolution coordinate system such as 4K or 8K. Has been.
  • coordinate data recorded in the script for example, coordinate data in accordance with “canvas” which is a specification of a script for drawing two-dimensional (2D) graphic data on a browser, or three-dimensional (3D) graphic data on a browser.
  • coordinate data according to “WebGL” which is the specification of the script to be drawn.
  • the high-resolution coordinate designation information described in the script of the HTML document is converted into low-resolution coordinate designation information, and the graphic data It is necessary to perform a process of drawing.
  • This coordinate system conversion processing is performed by either the application execution unit 221 or the graphic data drawing processing unit 223 in the graphic drawing data generation unit 220 shown in FIG.
  • the application execution unit 221 shown in FIG. 5 performs the coordinate conversion process
  • the application execution unit 221 converts the coordinate designation data corresponding to the high resolution described in the script in the HTML document into the coordinate designation data corresponding to the low resolution.
  • a drawing command according to the converted script description is output to the graphic data drawing processing unit 223.
  • the graphic data drawing processing unit 223 executes graphic data drawing processing in accordance with a drawing command in accordance with a low resolution compatible coordinate system input from the application execution unit 221. Through this process, low-resolution graphic data (graphic drawing plane) is recorded in the graphic data drawing memory 224.
  • the application execution unit 221 shown in FIG. 5 issues a drawing command using the coordinate designation data corresponding to the high resolution described in the script in the HTML document as it is.
  • the data is output to the graphic data drawing processing unit 223.
  • the graphic data drawing processing unit 223 converts the coordinate system corresponding to the high resolution in the drawing command input from the application execution unit 221 to the coordinate system corresponding to the low resolution, and performs drawing according to the coordinate system corresponding to the low resolution after the conversion.
  • the graphic data drawing process is executed according to the instruction. Through this process, low-resolution graphic data (graphic drawing plane) is recorded in the graphic data drawing memory 224.
  • the process of converting the script description in the HTML document into the coordinate system compatible with the low resolution can be executed by either the application execution unit 221 or the graphic data drawing processing unit 223.
  • the low-resolution graphic drawing plane recorded in the graphic data drawing memory 224 is input to the image conversion unit 231.
  • the image conversion unit 231 expands the low-resolution graphic drawing plane recorded in the graphic data drawing memory 224 to graphic data having a size corresponding to the high-resolution graphic data according to the script recorded in the original HTML document. Perform image enlargement processing.
  • a low-resolution graphic drawing plane recorded in the graphic data drawing memory 224 is image data equivalent to a 2K image
  • high-resolution graphic data according to a script recorded in an HTML document is graphic data equivalent to a 4K image.
  • the image conversion unit 231 executes image enlargement processing for doubling the vertical size and horizontal size of the low-resolution graphic drawing plane recorded in the graphic data drawing memory 224.
  • the low-resolution (2K) graphic drawing plane recorded in the graphic data drawing memory 224 has a size corresponding to the high-resolution (4K) graphic data according to the script recorded in the original HTML document. Can be expanded to graphic data.
  • a low-resolution graphic drawing plane recorded in the graphic data drawing memory 224 is image data equivalent to a 2K image
  • high-resolution graphic data according to a script recorded in an HTML document is a graphic equivalent to an 8K image.
  • the image conversion unit 231 executes an image enlargement process for making the low-resolution graphic drawing plane recorded in the graphic data drawing memory 224 four times the vertical size and the horizontal size.
  • the low-resolution (2K) graphic drawing plane recorded in the graphic data drawing memory 224 has a size corresponding to the high-resolution (8K) graphic data according to the script recorded in the original HTML document. Can be expanded to graphic data.
  • the graphic drawing plane becomes graphic data having the same size as the graphic data of the original resolution generated according to the script of the HTML document.
  • the combining unit 232 is a drawing plane that is display unit output data corresponding to each of characters, still images, and moving images stored in the character and image data drawing memory 205, that is, Character drawing plane 211, Still image drawing plane 212, Movie drawing plane 213, Each of these drawing planes,
  • the image conversion unit 231 executes a synthesis process with the graphic drawing plane that has been enlarged.
  • the character drawing plane 211, the still image drawing plane 212, the moving image drawing plane 213, and these drawing planes stored in the character / image data drawing memory 205 are drawing planes generated according to the description of the HTML document, and have a high resolution, for example, High resolution data such as 4K or 8K.
  • the graphic drawing plane input from the image conversion unit 231 is enlarged data of the graphic drawing plane with a low resolution, for example, a resolution equivalent to a 2K image. Although the resolution remains low, the size of the image is the same as the original resolution graphic drawing plane obtained by executing the script recorded in the HTML document.
  • the synthesizing unit 232 has a high resolution corresponding to each of the character, the character stored in the image data drawing memory 205, the still image, and the moving image.
  • the synthesizing unit 232 performs a synthesizing process of a plurality of different drawing planes generated according to the layout determined by the layout processing unit 202.
  • the layout processing unit 202 determines a layout according to a style sheet described in HTML (Hyper Text Markup Language).
  • the composition unit 232 performs composition processing of a plurality of different drawing planes generated according to the layout determined by the layout processing unit 202.
  • the combined result of the plurality of drawing planes generated by the combining unit 232 is stored in the display frame buffer 233 and output to the display unit 250.
  • the display image of the display unit 250 is, for example, an image corresponding to the output image 50 illustrated in FIG.
  • Two rectangular images and one semicircular image are graphic data obtained by executing a script recorded in an HTML document. These graphic data are graphic data obtained by enlarging drawing data (graphic drawing plane) generated by reducing the resolution to a size corresponding to the resolution according to the original script of the HTML document in the drawing process. is there.
  • the other output data is an original high-resolution image obtained according to the HTML document.
  • the drawing processing for generating the graphic data obtained by executing the script recorded in the HTML document as the graphic drawing plane with reduced resolution is performed. Execute. After that, the low-resolution graphic drawing plane is enlarged to generate a graphic drawing plane having the same size as the graphic drawing plane of the resolution according to the script recorded in the original HTML document. The images and characters are superimposed on the drawing plane.
  • high-resolution graphic data is graphic data corresponding to 4K and 8K images
  • low-resolution graphic data is graphic data corresponding to 2K images
  • the graphic drawing data generation unit shown in FIG. 5 generates and draws graphic data accompanied by a reduction in resolution at the time of graphic data generation, and generates and draws graphic data having a resolution lower than the resolution according to the script description of the HTML document.
  • Various combinations of resolutions are possible.
  • the script recorded in the HTML document is a generation script for graphic data equivalent to an 8K image
  • a graphic data generation processing mode accompanied by a reduction in resolution in the graphic drawing data generation unit shown in FIG.
  • graphic data generation processing equivalent to 4K images is also included.
  • the process of the present disclosure includes a configuration for generating graphic data having various resolutions lower than graphic data having a resolution according to the script description of the original HTML document.
  • the flowchart illustrated in FIG. 11 is a flowchart illustrating a sequence illustrating an example of processing executed by the information processing apparatus (receiving apparatus 30) according to the present disclosure.
  • the receiving device 30 stores a program in which processing procedures according to the processing sequence shown in FIG. 11 are recorded in a storage unit, and a data processing unit having a CPU or the like having a program execution function executes the program.
  • the process according to the flow shown is executed.
  • the data processing unit has a function of executing the processing of each component described above with reference to FIG.
  • the process of each step of the flowchart shown in FIG. 11 will be described sequentially.
  • Step S101 the data processing unit of the receiving apparatus first executes an HTML document analysis process.
  • This process corresponds to the process executed by the HTML document processing unit 201 shown in FIG.
  • the HTML document is an HTML document received from the transmission device 20 such as a broadcasting station.
  • the HTML document is, for example, (A) Style sheet 301, (B) Script 302, (C) body 303, Having these components.
  • step S102 the data processing unit of the receiving device displays the display data style displayed on the display unit of the receiving device in accordance with the style sheet described in the HTML document, that is, the display mode of each component, for example. (Style) is determined.
  • This process is a process executed by the layout processing unit 202 described with reference to FIG.
  • the style sheet stores information about the display position and display mode regarding each component (character, still image, moving image) of the display data, and the layout processing unit 202. Determines the display position and display mode for each component of the display data according to the description of the style sheet.
  • step S103 the data processing unit of the receiving device generates display data such as images and characters that are constituent elements of display data to be displayed on the display unit of the receiving device in accordance with the description of the HTML document.
  • This process is a process executed by the media data drawing processing unit (media renderer) 204 described with reference to FIG.
  • the media data rendering processing unit (media renderer) 204 has a high resolution (4K, 8K, etc.) transmitted from the transmitting device 20 such as a broadcasting station, for example, for each region whose arrangement is determined by the layout processing unit 202. A drawing process of program content including image data is executed.
  • the drawing process is performed individually for each of characters, still images, and moving images constituting a broadcast program, for example.
  • the drawing results are individually recorded in the character and image data drawing memory 205 shown in FIG. As shown in FIG.
  • the character data drawing result is stored in the character / image data drawing memory 205 as the character drawing plane 211.
  • the drawing result of the still image data is stored in the character and image data drawing memory 205 as the still image drawing plane 212.
  • the drawing result of the moving image data is stored in the character / image data drawing memory 205 as the moving image drawing plane 213.
  • high resolution (4K, 8K, etc.) data transmitted from the transmission device 20 such as a broadcasting station are all high resolution (4K, 8K, etc.) data transmitted from the transmission device 20 such as a broadcasting station. That is, in the character / image data drawing memory 205, high-resolution (4K, 8K, etc.) character, still image, and moving image data are stored.
  • step S104 the data processing unit of the receiving apparatus determines whether or not graphic data drawing processing by executing a script is necessary. It is determined whether or not the HTML document analyzed in step S101 includes a script (a program executed on the browser) for executing the graphic data drawing process.
  • a script a program executed on the browser
  • step S111 If it is determined that graphic data drawing processing is required by executing the script, the process proceeds to step S111. On the other hand, if it is determined that the graphic data drawing process by executing the script is not necessary, the process proceeds to step S105.
  • Step S105 If it is determined in step S104 that graphic data drawing processing by script execution is not necessary, the process proceeds to step S105.
  • the data processing unit of the receiving apparatus stores display data (high-resolution images, characters, etc.) in the display frame buffer, and outputs and displays the stored image in the display frame buffer on the display unit. Execute.
  • step S103 the following drawing planes drawn in the character and image data drawing memory 205 shown in FIG. Character drawing plane 211, Still image drawing plane 212, Movie drawing plane 213, These drawing planes are stored in the display frame buffer 233 shown in FIG. 5, and the image stored in the display frame buffer 233 is output to the display unit 250 and displayed.
  • graphic data display processing is not executed, and display data consisting only of high-resolution (4K, 8K, etc.) data transmitted from the transmission device 20 such as a broadcasting station is generated and displayed.
  • Step S111 On the other hand, if it is determined in step S104 that graphic data drawing processing is required by executing the script, the process proceeds to step S111.
  • the data processing unit of the receiving device outputs the script related data for graphic data drawing processing to the application execution unit (script execution engine) 221 shown in FIG. That is, script data in the HTML document analyzed by the HTML document processing unit 201 and each data necessary for executing the script are input to the application execution unit (script execution engine) 221 shown in FIG.
  • Step S112 the application execution unit (script execution engine) 221 executes a script based on these input data in step S112.
  • the script is executed using the application execution work memory 222 as a work area.
  • the script is, for example, a program that outputs graphic data shown in the graphic data drawing memory 103 in FIG.
  • the application execution unit (script execution engine) 221 outputs a graphic data drawing request in accordance with the script recorded in the HTML document to the graphic data drawing processing unit (graphic renderer) 223.
  • step S113 the graphic data drawing processing unit (graphic renderer) 223 shown in FIG. 5 records the graphic data in the graphic data drawing memory 224 in accordance with the processing request of the application execution unit (script execution engine) 221. That is, a graphic drawing plane is generated in the graphic data drawing memory 224.
  • the graphic drawing processing unit (graphic renderer) 223 does not generate a high-resolution graphic drawing plane according to the script recorded in the HTML document, and reduces the graphic drawing plane. Is generated.
  • generation processing of a graphic drawing plane corresponding to, for example, a 2K image with reduced resolution is performed without generating a high-resolution graphic drawing plane such as 4K or 8K according to the script recorded in the HTML document.
  • the graphic drawing plane generated in the graphic data drawing memory 224 is not graphic data of the original resolution of the script recorded in the HTML document, but low-resolution graphic data lower than the original resolution of the script recorded in the HTML document ( Graphic drawing plane).
  • the script recorded in the HTML document is a script for drawing processing of high-resolution graphic data.
  • the coordinates specifying the drawing area of graphic data are compatible with high resolution such as 4K and 8K. It is expressed in the coordinate system.
  • low-resolution graphic data graphics drawing plane
  • the graphic designation information corresponding to the high resolution described in the script of the HTML document is converted into the coordinate designation information compatible with the low resolution, and the graphic It is necessary to perform processing for drawing data.
  • this coordinate system conversion process is performed by either the application execution unit 221 or the graphic data drawing processing unit 223 shown in FIG.
  • a process of converting the data into coordinate data corresponding to the low resolution data is performed.
  • low-resolution graphic data (graphic drawing plane) is recorded in the graphic data drawing memory 224.
  • Step S114 The process of the next step S114 is the process of the image conversion unit 231 shown in FIG.
  • the image conversion unit 231 executes image enlargement processing of the low-resolution graphic data stored in the graphic data drawing memory 224. That is, the low resolution graphic data stored in the graphic data drawing memory 224 is converted into a size corresponding to the display mode of the original high resolution image generated according to the script described in the HTML document.
  • a low-resolution graphic drawing plane recorded in the graphic data drawing memory 224 is image data equivalent to a 2K image
  • high-resolution graphic data according to a script recorded in an HTML document is graphic data equivalent to a 4K image.
  • the image conversion unit 231 executes image enlargement processing for doubling the vertical size and horizontal size of the low-resolution graphic drawing plane recorded in the graphic data drawing memory 224.
  • the graphic drawing plane becomes graphic data having the same size as the graphic data of the original resolution generated according to the script of the HTML document.
  • Step S115 The process of the next step S115 is a process executed by the synthesis unit 232 shown in FIG.
  • the combining unit 232 is a drawing plane that is display unit output data corresponding to each of characters, still images, and moving images stored in the character and image data drawing memory 205, that is, Character drawing plane 211, Still image drawing plane 212, Movie drawing plane 213, Each of these drawing planes,
  • the image conversion unit 231 executes a synthesis process with the graphic drawing plane that has been enlarged.
  • the character drawing plane 211, the still image drawing plane 212, the moving image drawing plane 213, and these drawing planes stored in the character / image data drawing memory 205 are drawing planes generated according to the description of the HTML document, and have a high resolution, for example, High resolution data such as 4K or 8K.
  • the graphic drawing plane input from the image conversion unit 231 is enlarged data of the graphic drawing plane with a low resolution, for example, a resolution equivalent to a 2K image. Although the resolution remains low, the size of the image is the same as the original resolution graphic drawing plane obtained by executing the script recorded in the HTML document.
  • the synthesizing unit 232 has a high resolution corresponding to each of the character, the character stored in the image data drawing memory 205, the still image, and the moving image.
  • Step S116 The synthesized image generated as a result of the synthesis process in step S115 by the synthesis unit 232 is stored in the display frame buffer 233 illustrated in FIG. 5 and output to the display unit 250 in step S116.
  • the display image of the display unit 250 is, for example, an image corresponding to the output image 50 shown in FIG.
  • Two rectangular images and one semicircular image are graphic data obtained by executing a script recorded in an HTML document.
  • These graphic data are graphic data obtained by enlarging drawing data (graphic drawing plane) generated by reducing the resolution to a size corresponding to the resolution according to the original script of the HTML document in the drawing process. is there.
  • the other output data is an original high-resolution image obtained according to the HTML document.
  • the receiving apparatus 30 executes processing according to the flowchart illustrated in FIG.
  • the graphic data obtained by executing the script recorded in the HTML document is generated as a graphic drawing plane with a reduced resolution, and then the low-resolution graphic drawing plane is enlarged to obtain the original HTML document.
  • a graphic drawing plane having the same size as the graphic drawing plane having the resolution according to the recorded script is generated, and is displayed by being superimposed on another high-resolution image or a drawing plane of characters or the like.
  • high-resolution graphic data is graphic data equivalent to 4K and 8K images
  • low-resolution graphic data is graphic data equivalent to 2K images
  • the graphic data generation processing mode accompanied by a reduction in resolution includes, for example, not only graphic data generation equivalent to a 2K image but also a 4K image equivalent. Processing for generating graphic data is also included.
  • the present disclosure includes a process of generating graphic data having various resolutions lower than graphic data having a resolution according to the script description of the original HTML document.
  • the graphic data By drawing high-resolution graphic data without reducing the resolution during the drawing process, high-resolution graphic data can be displayed, and a higher-quality image can be output.
  • the graphic data drawing processing load caused by executing the script is small, and the memory capacity for storing the drawing data is small. Things are enough.
  • the script described in the HTML document is directly executed without performing the resolution reduction process in the graphic data drawing process, and a high-resolution graphic drawing plane is generated and stored in the graphic data drawing memory. It is good also as a structure.
  • the information processing apparatus determines whether or not to perform the resolution reduction process in the graphic data drawing process, for example, the following determination process is performed.
  • Determination processing Whether or not the resources (data processing capability and memory capacity) that can be used by the information processing apparatus (reception apparatus 30) are sufficient resources to execute the graphic data rendering process by the script described in the HTML document. Determine whether.
  • the graphic data drawing processing unit 223 illustrated in FIG. 5 does not perform the resolution reduction process in the graphic data drawing process, and does not perform the resolution reduction process. Is generated and stored in the graphic drawing memory 224 shown in FIG. In this case, the image conversion unit 231 illustrated in FIG. 5 does not perform image conversion such as image enlargement, and outputs the high-resolution graphic drawing plane stored in the graphic drawing memory 224 to the synthesis unit 232 as it is.
  • the graphic data drawing processing unit 223 shown in FIG. A drawing plane is generated and stored in the graphic drawing memory 224 shown in FIG.
  • the image conversion unit 231 illustrated in FIG. 5 performs image conversion such as image enlargement. That is, the low-resolution graphic drawing plane stored in the graphic drawing memory 224 is enlarged to an image size corresponding to high-resolution graphic data, and the enlarged data is output to the synthesis unit 232.
  • the resource status may change sequentially according to the data processing status of the information processing device (receiving device 30).
  • the information processing apparatus (receiving apparatus 30) performs other data processing in addition to the graphic data drawing processing in parallel with the graphic data drawing processing. When the load of such other data processing is large, the resources that can be allocated to the graphic data drawing processing are reduced.
  • the resources that can be allocated to the graphic data rendering process may change gradually, and when determining whether or not to perform the resolution reduction process in the graphic data rendering process, use at that time It is preferable to make a determination after confirming possible resources.
  • FIGS. 12 and 13 are flowcharts illustrating a sequence illustrating an example of processing executed by the information processing apparatus (receiving apparatus 30) of the present disclosure.
  • the receiving device 30 stores a program in which processing procedures according to the processing sequences shown in FIGS. 12 to 13 are recorded in a storage unit, and executes the program in a data processing unit having a CPU or the like having a program execution function. Processing according to the flow shown in FIGS. 12 to 13 is executed.
  • the data processing unit has a function of executing the processing of each component described above with reference to FIG.
  • processing of each step in the flowcharts shown in FIGS. 12 and 13 will be described sequentially.
  • Steps S201 to S204 The processing in steps S201 to S204 is the same as the processing in steps S101 to S104 described above with reference to the flowchart shown in FIG. These processes will be described together.
  • step S201 the data processing unit of the receiving apparatus executes an HTML document analysis process.
  • This process corresponds to the process executed by the HTML document processing unit 201 shown in FIG.
  • step S202 the data processing unit of the receiving device displays the display data style displayed on the display unit of the receiving device in accordance with the style sheet described in the HTML document, that is, the display mode such as the display position of the past component. (Style) is determined.
  • This process is a process executed by the layout processing unit 202 described with reference to FIG.
  • step S203 the data processing unit of the receiving device generates display data such as images and characters that are constituent elements of display data displayed on the display unit of the receiving device in accordance with the description of the HTML document.
  • This process is a process executed by the media data drawing processing unit (media renderer) 204 described with reference to FIG.
  • the media data rendering processing unit (media renderer) 204 has a high resolution (4K, 8K, etc.) transmitted from the transmitting device 20 such as a broadcasting station, for example, for each region whose arrangement is determined by the layout processing unit 202.
  • a drawing process of program content including image data is executed. The drawing process is performed individually for each of characters, still images, and moving images constituting a broadcast program, for example.
  • the drawing results are individually recorded in the character and image data drawing memory 205 shown in FIG. As shown in FIG.
  • the character data drawing result is stored in the character / image data drawing memory 205 as the character drawing plane 211.
  • the drawing result of the still image data is stored in the character and image data drawing memory 205 as the still image drawing plane 212.
  • the drawing result of the moving image data is stored in the character / image data drawing memory 205 as the moving image drawing plane 213.
  • step S204 the data processing unit of the receiving apparatus determines whether or not graphic data drawing processing by executing a script is necessary. It is determined whether or not the HTML document analyzed in step S201 includes a script (a program executed on the browser) for executing the graphic data drawing process.
  • a script a program executed on the browser
  • step S211 If it is determined that graphic data drawing processing is necessary by executing the script, the process proceeds to step S211. On the other hand, if it is determined that the graphic data drawing process by executing the script is not necessary, the process proceeds to step S205.
  • Step S205 If it is determined in step S204 that graphic data drawing processing by script execution is not necessary, the process proceeds to step S205.
  • the data processing unit of the receiving apparatus stores display data (high-resolution images, characters, etc.) in the display frame buffer, and outputs and displays the stored image in the display frame buffer on the display unit. Execute.
  • step S203 the following drawing planes drawn in the character and image data drawing memory 205 shown in FIG. Character drawing plane 211, Still image drawing plane 212, Movie drawing plane 213, These drawing planes are stored in the display frame buffer 233 shown in FIG. 5, and the image stored in the display frame buffer 233 is output to the display unit 250 and displayed.
  • graphic data display processing is not executed, and display data consisting only of high-resolution (4K, 8K, etc.) data transmitted from the transmission device 20 such as a broadcasting station is generated and displayed.
  • Step S211 The process in step S211 is the same as the process in step S111 described above with reference to the flowchart shown in FIG. If it is determined in step S204 that graphic data drawing processing by script execution is necessary, the process proceeds to step S211.
  • the data processing unit of the receiving apparatus outputs script-related data for graphic data drawing processing to the application execution unit (script execution engine) 221 shown in FIG.
  • Step S212 the data processing unit of the information processing apparatus (reception apparatus 30) draws graphic data with a reduced resolution, not graphic data having a resolution according to the script description of the HTML document, in the graphic data drawing process. Determine whether there is a need to do.
  • This determination process is performed, for example, as the following determination process described above. (Determination processing) Whether or not the resources (data processing capability and memory capacity) that can be used by the information processing apparatus (reception apparatus 30) are sufficient resources to execute the graphic data rendering process by the script described in the HTML document. Determine whether.
  • the script described in the HTML document is used.
  • the graphic data drawing processing load is small, and it can be determined that there are sufficient resources to execute the script, and the resolution reduction processing is not performed.
  • the graphic data drawing processing load by the script described in the HTML document is heavy, It is determined that there are not enough resources to execute, and processing such as determining to perform resolution reduction processing is performed.
  • the available resources (data processing capacity, memory capacity) of the information processing apparatus (receiving apparatus 30) vary depending on other data processing execution statuses, and the other data processing statuses It is preferable to judge in consideration of the For example, when the other data processing load is large, the “specified size” to be applied to the above determination processing is set small, and when the other data processing load is small, the above “specified size” is set large. Correspondence is possible.
  • step S212 the data processing unit of the information processing apparatus (reception apparatus 30) reduces the resolution more than the graphic data having the resolution according to the script description of the HTML document in the graphic data rendering process. It is determined whether there is a need to draw graphic data. If it is determined that there is no need to draw graphic data with reduced resolution, the process proceeds to step S221. On the other hand, if it is determined that there is a need to draw graphic data with reduced resolution, the process proceeds to step S231.
  • Step S221 If it is determined in step S212 that there is no need to draw graphic data with reduced resolution, the process proceeds to step S221.
  • the application execution unit (script execution engine) 221 shown in FIG. 5 executes the script in step S221.
  • the application execution unit (script execution engine) 221 executes a script using the application execution work memory 222 as a work area.
  • the application execution unit (script execution engine) 221 outputs a graphic data drawing request in accordance with the script recorded in the HTML document to the graphic data drawing processing unit (graphic renderer) 223.
  • graphic data drawing processing unit (graphic renderer) 223. graphic data having a resolution in accordance with the script description is drawn without performing a resolution reduction process.
  • step S222 the graphic data drawing processing unit (graphic renderer) 223 shown in FIG. 5 records the graphic data in the graphic data drawing memory 224 in accordance with the processing request of the application execution unit (script execution engine) 221. That is, a graphic drawing plane is generated in the graphic data drawing memory 224.
  • steps S221 to S222 graphic data having a resolution according to the script description is performed without performing a resolution reduction process.
  • a high-resolution graphic drawing plane is generated as described in the script.
  • Step S231 Next, processing in steps S231 to S233, which is processing when it is determined in step S212 that it is necessary to draw graphic data with reduced resolution, will be described.
  • step S231 the application execution unit (script execution engine) 221 shown in FIG. 5 executes a script.
  • the application execution unit (script execution engine) 221 executes a script using the application execution work memory 222 as a work area.
  • the application execution unit (script execution engine) 221 outputs a graphic data drawing request in accordance with the script recorded in the HTML document to the graphic data drawing processing unit (graphic renderer) 223.
  • step S231 to S233 graphic data with a resolution lower than the resolution according to the script description is drawn.
  • the script recorded in the HTML document is a script for drawing processing of high-resolution graphic data.
  • coordinates specifying a drawing area of graphic data are coordinates corresponding to high resolution such as 4K and 8K. It is expressed in the system.
  • low-resolution graphic data graphics drawing plane
  • the graphic designation information corresponding to the high resolution described in the script of the HTML document is converted into the coordinate designation information compatible with the low resolution, and the graphic It is necessary to perform processing for drawing data.
  • this coordinate system conversion process is performed by either the application execution unit 221 or the graphic data drawing processing unit 223 shown in FIG.
  • a process of converting the data into coordinate data corresponding to the low resolution data is performed.
  • low-resolution graphic data (graphic drawing plane) is recorded in the graphic data drawing memory 224.
  • step S232 the graphic data drawing processing unit (graphic renderer) 223 shown in FIG. 5 records the graphic data in the graphic data drawing memory 224 in accordance with the processing request of the application execution unit (script execution engine) 221. That is, a graphic drawing plane is generated in the graphic data drawing memory 224.
  • the graphic drawing processing unit (graphic renderer) 223 generates a graphic drawing plane with reduced resolution without generating a high-resolution graphic drawing plane according to the script recorded in the HTML document.
  • generation processing of a graphic drawing plane corresponding to, for example, a 2K image with reduced resolution is performed without generating a high-resolution graphic drawing plane such as 4K or 8K according to the script recorded in the HTML document.
  • the graphic drawing plane generated in the graphic data drawing memory 224 is not graphic data of the original resolution of the script recorded in the HTML document, but low-resolution graphic data lower than the original resolution of the script recorded in the HTML document ( Graphic drawing plane).
  • the script recorded in the HTML document is a script for drawing processing of high-resolution graphic data.
  • the coordinates specifying the drawing area of graphic data are compatible with high resolution such as 4K and 8K. It is expressed in the coordinate system.
  • low-resolution graphic data graphics drawing plane
  • the graphic designation information corresponding to the high resolution described in the script of the HTML document is converted into the coordinate designation information compatible with the low resolution, and the graphic It is necessary to perform processing for drawing data.
  • this coordinate system conversion process is performed by either the application execution unit 221 or the graphic data drawing processing unit 223 shown in FIG.
  • a process of converting the data into coordinate data corresponding to the low resolution data is performed.
  • low-resolution graphic data (graphic drawing plane) is recorded in the graphic data drawing memory 224.
  • Step S233 The process of the next step S233 is the process of the image conversion unit 231 shown in FIG.
  • the image conversion unit 231 executes image enlargement processing of the low-resolution graphic data stored in the graphic data drawing memory 224. That is, the low resolution graphic data stored in the graphic data drawing memory 224 is converted into a size corresponding to the display mode of the original high resolution image generated according to the script described in the HTML document.
  • a low-resolution graphic drawing plane recorded in the graphic data drawing memory 224 is image data equivalent to a 2K image
  • high-resolution graphic data according to a script recorded in an HTML document is graphic data equivalent to a 4K image.
  • the image conversion unit 231 executes image enlargement processing for doubling the vertical size and horizontal size of the low-resolution graphic drawing plane recorded in the graphic data drawing memory 224.
  • the graphic drawing plane becomes graphic data having the same size as the graphic data of the original resolution generated according to the script of the HTML document.
  • Step S241 Drawing processing of high resolution graphic data (high resolution graphic drawing plane) without the resolution reduction processing in steps S221 to S222; Alternatively, drawing processing of low resolution graphic data (low resolution graphic drawing plane) by resolution reduction processing in steps S231 to S233, When any of these processes is completed, the process of step S241 is executed.
  • the process of step S241 is a process executed by the synthesis unit 232 illustrated in FIG.
  • the combining unit 232 is a drawing plane that is display unit output data corresponding to each of characters, still images, and moving images stored in the character and image data drawing memory 205, that is, Character drawing plane 211, Still image drawing plane 212, Movie drawing plane 213, Each of these drawing planes,
  • the image conversion unit 231 executes a synthesis process with the graphic drawing plane that has been enlarged.
  • Character drawing plane 211 stored in character / image data drawing memory 205, still image drawing plane 212, moving image drawing plane 213, and these drawing planes are drawing planes generated according to the description of the HTML document, and have a high resolution, for example, High resolution data such as 4K or 8K.
  • the graphic drawing plane input from the image conversion unit 231 is When the processes in steps S221 to S222 are executed, the graphic drawing plane has a high resolution according to the script description of the HTML document. Further, when the processing of steps S231 to S233 is executed, it is not the high-resolution graphic drawing plane according to the script description of the HTML document, but the enlarged data of the low-resolution graphic drawing plane with reduced resolution. In this case, although the resolution is low, the size of the image has the same size as the graphic drawing plane of the original resolution obtained by executing the script recorded in the HTML document.
  • the synthesizing unit 232 has a high resolution corresponding to each of the character, the character stored in the image data drawing memory 205, the still image, and the moving image.
  • Step S242 The synthesized image generated as a result of the synthesis process in step S241 by the synthesis unit 232 is stored in the display frame buffer 233 illustrated in FIG. 5 and output to the display unit 250 in step S242.
  • the process according to the flow shown in FIGS. 12 to 13 is an example in which the necessity of the resolution reduction process is determined in the graphic data rendering process and the process according to the determination result is performed.
  • the graphic data Only when high resolution graphic data is drawn without reducing the resolution during drawing processing and it is determined that the resource is insufficient, low resolution graphic data is drawn.
  • the graphic data to be output to the display unit can be output in high resolution, and only when the resources are insufficient, the resolution is reduced and output is selected. Processing becomes possible. In any case, it is possible to reliably execute the output of the composite image including the graphic data generated by executing the script without delay.
  • FIG. 14 illustrates a hardware configuration example of a communication apparatus that can be applied as the information processing apparatus (reception apparatus 30).
  • a CPU (Central Processing Unit) 501 functions as a data processing unit that executes various processes according to a program stored in a ROM (Read Only Memory) 502 or a storage unit 508. For example, processing according to the sequence described in the above-described embodiment is executed.
  • a RAM (Random Access Memory) 503 stores programs executed by the CPU 501 and data.
  • the CPU 501, ROM 502, and RAM 503 are connected to each other by a bus 504.
  • the CPU 501 is connected to an input / output interface 505 via a bus 504.
  • the input / output interface 505 is connected to an input unit 506 including various switches, a keyboard, a mouse, and a microphone, and an output unit 507 including a display and a speaker. Yes.
  • the CPU 501 executes various processes in response to a command input from the input unit 506 and outputs a processing result to the output unit 507, for example.
  • the storage unit 508 connected to the input / output interface 505 includes, for example, a hard disk and stores programs executed by the CPU 501 and various data.
  • the communication unit 509 functions as a data transmission / reception unit via a network such as the Internet or a local area network, and further as a broadcast wave transmission / reception unit, and communicates with an external device.
  • the drive 510 connected to the input / output interface 505 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and executes data recording or reading.
  • a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
  • the encoding or decoding of data can be executed as processing of the CPU 501 as a data processing unit, but may be configured with a codec as dedicated hardware for executing encoding or decoding processing.
  • the technology disclosed in this specification can take the following configurations.
  • a graphic drawing data generation unit that executes graphic data generation processing;
  • a combining unit that combines the graphic data generated by the graphic drawing data generation unit and the image data to generate a combined image for display unit output;
  • the graphic drawing data generation unit generates low-resolution graphic data having a resolution lower than the resolution according to the script description when generating graphic data according to the script,
  • the information processing apparatus wherein the combining unit generates a combined image for display unit output using enlarged data of the low-resolution graphic data.
  • the graphic drawing data generation unit stores the generated low-resolution graphic data in a graphic data drawing memory
  • the image conversion unit executes a data enlargement process for matching the low resolution graphic data stored in the graphic data drawing memory with the size of the high resolution graphic data corresponding to the resolution according to the description of the script
  • the information processing apparatus according to (1), wherein the synthesis unit generates a synthesized image for display unit output using the low-resolution graphic data enlarged by the image conversion unit.
  • the graphic drawing data generation unit The information processing apparatus according to (1) or (2), wherein graphic data generation processing is executed according to a script described in an HTML (Hyper Text Markup Language) document.
  • HTML Hyper Text Markup Language
  • the graphic drawing data generation unit The information processing apparatus according to any one of (1) to (3), wherein the high resolution compatible coordinate system described in the script is converted into a low resolution compatible coordinate system to generate the low resolution graphic data.
  • the graphic drawing data generation unit This is a specification of a script for drawing high-resolution coordinate data according to “canvas” which is a specification of a script for drawing two-dimensional (2D) graphic data on a browser, or a script for drawing three-dimensional (3D) graphic data on a browser.
  • the information processing apparatus according to any one of (1) to (4), wherein high-resolution compatible coordinate data according to “WebGL” is converted into low-resolution compatible coordinate data to generate the low-resolution graphic data.
  • the graphic drawing data generation unit An application execution unit that outputs drawing commands according to the script description;
  • the information processing apparatus according to any one of (1) to (5), further including a graphic data drawing processing unit that executes a drawing process according to a drawing command output from the application execution unit.
  • At least one of the application execution unit or the graphic data drawing processing unit executes a process of converting a high-resolution coordinate system described in the script into a low-resolution coordinate system (6)
  • the information processing apparatus A layout processing unit that performs layout determination according to a style sheet described in an HTML (Hyper Text Markup Language) document; The information processing apparatus according to any one of (1) to (7), wherein the synthesizing unit executes a synthesizing process of a plurality of different drawing planes generated according to the layout determined by the layout processing unit.
  • HTML Hyper Text Markup Language
  • the graphic drawing data generation unit The information processing apparatus according to any one of (1) to (8), wherein the graphic data to be displayed on the browser is generated.
  • the synthesis unit includes: The information processing apparatus according to any one of (1) to (9), which executes a process of generating a composite image to be displayed on a browser.
  • the graphic drawing data generation unit Determining whether the resources available for the information processing apparatus are sufficient resources for generating high-resolution graphic data according to the description of the script; If it is determined that the available resources are sufficient resources, generate high-resolution graphic data according to the description of the script, The information processing apparatus according to any one of (1) to (10), wherein if it is determined that the available resource is not a sufficient resource, low-resolution graphic data having a resolution lower than the resolution according to the description of the script is generated. .
  • the graphic drawing data generation unit According to (11), in accordance with the size of the graphic data generated according to the description of the script, a determination process is performed to determine whether sufficient resources are available for generating high-resolution graphic data according to the description of the script. Information processing device.
  • the graphic drawing data generation unit The process according to (11) or (12), wherein a process of determining whether or not sufficient resources for generating high-resolution graphic data according to the description of the script can be used is executed according to a resource usage state of the information processing apparatus.
  • Information processing device Information processing device.
  • the information processing apparatus includes: An HTML document processing unit that executes analysis processing of an HTML (Hyper Text Markup Language) document received from the transmission device;
  • the graphic drawing data generation unit The information processing apparatus according to any one of (1) to (13), wherein a script included in an HTML document analyzed by the HTML document processing unit is executed.
  • An information processing method executed in the information processing apparatus includes: A graphic drawing data generation unit for executing graphic data generation processing; A combining unit that combines the graphic data generated by the graphic drawing data generation unit and the image data to generate a combined image for display unit output; The graphic drawing data generation unit In the graphic data generation process according to the script, low resolution graphic data having a resolution lower than the resolution according to the script description is generated.
  • the synthesis unit is An information processing method for generating a composite image for display unit output using enlarged data of the low-resolution graphic data.
  • a program for executing information processing in an information processing device includes: A graphic drawing data generation unit for executing graphic data generation processing; A combining unit that combines the graphic data generated by the graphic drawing data generation unit and the image data to generate a combined image for display unit output;
  • the program is In the graphic drawing data generation unit, In the graphic data generation process according to the script, low resolution graphic data having a resolution lower than the resolution according to the script description is generated, In the synthesis unit, A program for generating a composite image for display unit output using enlarged data of the low-resolution graphic data.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
  • the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
  • the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
  • a configuration in which low-resolution graphic data generated according to a script is combined with high-resolution image data and displayed is realized.
  • the graphic drawing data generation unit performs graphic data generation processing according to a script described in an HTML document, it generates low-resolution graphic data having a resolution lower than the resolution according to the script description.
  • the image conversion unit enlarges the low-resolution graphic data in the drawing memory and converts it to the same size as the high-resolution graphic data, and then synthesizes and outputs it with other high-resolution image data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

高解像度の画像データに、スクリプトに従って生成した低解像度グラフィックデータを合成して表示する構成を実現する。グラフィック描画データ生成部が、HTML文書内に記述されたスクリプトに従ってグラフィックデータの生成処理を行なう際、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成して描画メモリに格納する。画像変換部が、描画メモリ内の低解像度グラフィックデータを拡大して高解像度グフィックデータと同一のサイズに変換した後、その他の高解像度画像データ等と合成して出力する。

Description

情報処理装置、および情報処理方法、並びにプログラム
 本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、画像や文字等からなる表示用データに、スクリプト(プログラム)の実行によって生成されるグラフィックデータを重畳して表示する情報処理装置、および情報処理方法、並びにプログラムに関する。
 昨今、画像データの解像度の向上が進み、メディアに記録された画像や放送局の提供する画像データは、高画質画像であるHD(High Definition)画像、いわゆるハイビジョン対応の2K画像が多く利用されている。
 今後、さらに高画質化が進み、超高精細画像(UHD:Ultra High Definition画像)、例えば画素数を増加させた4K画像や、8K画像の利用が増加することが予想される。
 また、昨今の放送サービスにおいては通常の放送番組に加え、送信装置からアプリケーションによって表示可能なアニメーション、静止画、動画、テキストデータ等をテレビ等の受信装置に送信し、受信装置においてアプリケーションを実行して、様々な付加情報を重畳して表示することを可能とした構成が利用されている。
 このようなサービスを実現する一つの構成として、テレビ等の受信装置におけるブラウザの利用がある。
 昨今のテレビ等の受信装置の多くは、ブラウザ実行機能を備えており、放送局等から送信されるHTML(Hyper Text Markup Language)ファイルを利用して、HTML記述に従った表示データを生成して、通常の放送番組に併せて様々なデータを表示する処理が可能となっている。
 なお、ブラウザを利用した画像表示処理に関する従来技術を開示した文献として、例えば、特許文献1(特開2007-133898号公報)、特許文献2(特開2015-099340号公報)等がある。
 従来の一般的なデータ放送等では、ブラウザによる出力画像サイズは、例えば960×540画素等、比較的、小さな画像サイズが多く利用されていた。
 近年、より大きな画像サイズである1920×1080画素(Hybridcast)の画像サイズのブラウザも実用化されつつある。
 3840×2160画素の4K画像を出力可能な4Kテレビが普及しつつある現状において、各メーカーのテレビに搭載されたブラウザの機能は、様々である。
 例えば、
 (a)1920×1080画素の画像出力機能を持つ2Kプラウザを搭載したテレビ、
 (b)3840×2160画素の画像出力機能を持つ4Kプラウザを搭載したテレビ、
 これらの異なるブラウザを備えたテレビが販売されている。
 さらに、今後は、
 (c)7680×4320画素の画像出力機能を持つ8Kプラウザを搭載したテレビも開発され、利用される可能性がある。
 しかし、一般的なテレビはPC等のデータ処理装置に比較すると利用可能なメモリ容量は小さく、データ処理機能も低い。従って、例えば上述した4Kブラウザや、8Kブラウザを用いて画像表示を行おうとしても、滑らかな表示ができない場合も少なくない。
 従って、テレビ等の受信装置側においてスクリプト(プログラム)を実行してグラフィックデータを生成して表示する場合、グラフィックデータの生成負荷が過大となり、また高解像度のグラフィックデータを格納する描画メモリの容量が不足するといった問題が発生する可能性が高くなる。
特開2007-133898号公報 特開2015-099340号公報
 本開示は、例えば上記の問題点に鑑みてなされたものであり、利用可能なメモリ容量が小さく、データ処理能力の低いテレビ等の情報処理装置において、4K画像や8K画像といった高解像度画像に併せて様々なグラフィックデータを確実に生成して表示することを可能とした情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
 本開示の第1の側面は、
 グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
 前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
 前記グラフィック描画データ生成部は、スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、
 前記合成部は、前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成する情報処理装置にある。
 さらに、本開示の第2の側面は、
 情報処理装置において実行する情報処理方法であり、
 前記情報処理装置は、
 グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
 前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
 前記グラフィック描画データ生成部が、
 スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、
 前記合成部は、
 前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成する情報処理方法にある。
 さらに、本開示の第3の側面は、
 情報処理装置において情報処理を実行させるプログラムであり、
 前記情報処理装置は、
 グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
 前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
 前記プログラムは、
 前記グラフィック描画データ生成部に、
 スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成させ、
 前記合成部に、
 前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、高解像度の画像データに、スクリプトに従って生成した低解像度グラフィックデータを合成して表示する構成が実現される。
 具体的には、グラフィック描画データ生成部が、HTML文書内に記述されたスクリプトに従ってグラフィックデータの生成処理を行なう際、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成して描画メモリに格納する。画像変換部が、描画メモリ内の低解像度グラフィックデータを拡大して高解像度グフィックデータと同一のサイズに変換した後、その他の高解像度画像データ等と合成して出力する。
 本構成により、高解像度の画像データに、スクリプトに従って生成した低解像度グラフィックデータを合成して表示する構成が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
通信システムの一構成例について説明する図である。 受信送信の実行する処理例について説明する図である。 受信送信の実行する処理例について説明する図である。 受信送信の実行する処理例について説明する図である。 受信送信の構成例と、実行する処理について説明する図である。 HTML文書の一例について説明する図である。 スタイルシートの一例について説明する図である。 スクリプトの一例について説明する図である。 スクリプトの一例について説明する図である。 スクリプトの一例について説明する図である。 本開示の情報処理装置である受信装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置である受信装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置である受信装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置である受信装置のハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
 1.通信システムの構成例について
 2.受信装置におけるブラウザを利用した画像出力例について
 3.受信装置におけるブラウザを利用した画像出力処理における問題点について
 4.受信装置におけるブラウザを利用した画像出力処理の問題点を解決した構成例について
 5.本開示の情報処理装置(受信装置)の実行する処理のシーケンスについて
 6.グラフィックデータ描画処理に際して解像度低下処理の要否判定を実行して判定結果に応じた処理を行なう実施例について
 7.情報処理装置の構成例について
 8.本開示の構成のまとめ
  [1.通信システムの構成例について]
 まず、図1を参照して本開示の処理を実行する通信システムの一構成例について説明する。
 図1に示すように、通信システム10は、画像データや音声データ等のコンテンツを送信する通信装置である送信装置20と、送信装置20の送信するコンテンツを受信する通信装置である受信装置30を有する。
 送信装置20は、具体的には、例えば、主にTV番組等を送信する放送サーバ(放送局)21や、主に広告データを送信する広告サーバ22、様々なデータを送信するデータ配信サーバ23等、様々なコンテンツ(放送番組、広告、その他のデータ)を提供する側の装置である。
 一方、受信装置30は、一般ユーザのクライアント装置であり、具体的には、例えばテレビ31、PC32、携帯端末33等によって構成される。
 なお、図1では、送信装置20の例として、放送サーバ(放送局)21、広告サーバ22、データ配信サーバ23を区別して記載しているが、1つのサーバが放送番組、広告、その他のデータをすべて送信する構成もある。
 送信装置20と受信装置30間のデータ通信は、インターネット等のネットワークを介した双方向通信、一方向通信、あるいは、放送波等による一方向通信の少なくともいずれか、あるいは両者を利用した通信として行われる。
 送信装置20は、受信装置30に対して、通常の番組コンテンツを送信し、さらに、例えばデータ放送やアニメーション表示等、通常番組に重畳して表示するデータや、表示処理用のプログラムなどを送信する。
 具体的には、例えば、HTML(Hyper Text Markup Language)ファイル、その他の画像データ、アプリケーションプログラム(スクリプト)等の様々なデータを送信する。
 受信装置30は、通常の番組コンテンツを表示部やスピーカ等の出力部に出力する処理を実行する。また、受信装置30はブラウザ実行機能を有し、HTML文書ファイルを解釈し、HTML文書ファイルの記述データに従った出力データを表示部、スピーカ等からなる出力部に出力する。
 ブラウザは、例えばWebページを閲覧するためのアプリケーションプログラムであり、HTML文書ファイル、画像ファイル、音声ファイル、Java(登録商標)スクリプトファイル等のスクリプト(プログラム)を組み合わせて、画像、音声、アニメーション等からなる出力情報を生成するプログラムである。
 受信装置30は、ブラウザを実行することで、受信装置の表示部に通常の放送番組に併せて、様々な動画、静止画、アニメーション等を重畳表示することができる。
  [2.受信装置におけるブラウザを利用した画像出力例について]
 次に、図2以下を参照して、テレビや携帯端末等の受信装置30におけるブラウザを利用した画像出力例について説明する。
 図2は、受信装置30におけるブラウザを利用した画像表示処理の一例を示す図である。
 放送局等の送信装置20からは、通常の番組コンテンツに併せて、ブラウザを利用した表示データを生成するために利用される様々なデータが受信装置30に送信される。
 例えばHTML文書ファイル、画像ファイル、音声ファイル、さらに、アニメーション表示処理等のプログラム実行機能をブラウザ上で実行可能なJava(登録商標)スクリプト等のスクリプトファイル等が送信される。
 受信装置30は、これらのデータを利用して、図2に示す出力画像50を生成して表示する。
 通常の番組コンテンツは、一旦、図に示す文字、画像データ描画メモリ101に格納される。
 送信装置20から送信される番組コンテンツを構成する画像、文字、音声等の各データは、圧縮符号化データであり、受信装置30は、この符号化データを復号する処理を実行し、復号結果を文字、画像データ描画メモリ101に格納する。
 さらに、受信装置30は、送信装置20から受信したHTML文書ファイル、画像ファイル、音声ファイル等をアプリケーション実行部102に入力する。
 アプリケーション実行部102は、送信装置20から受信したHTML文書ファイルを解析して、HTML文書ファイルの記述に従った出力データを生成する。
 HTML文書ファイルには、出力データのスタイルを規定するためのスタイルシートや、出力データを構成する画像、音声、テキスト等の情報、さらに例えば、グラフィックデータの生成や、アニメーションの実行機能を実現するJava(登録商標)スクリプト等のスクリプト(プログラム)等、様々な情報が含まれ、アプリケーション実行部102は、これらを利用した出力データを生成する。
 なお、本明細書において「グラフィックデータ」とは、スクリプトの記述に従って生成される表示用データである。
 具体的には、例えばHTML文書に含まれるスクリプトに記述された座標データを適用して算出される2次元(2D)、あるいは3次元(3D)の図形データ等の表示用データである。
 なお、スクリプトは、様々な出力データを生成することが可能なブラウザ上で実行可能なプログラム(アプリケーション)である。
 図2には、矩形、半円状のグラフィックデータを生成するスクリプトを利用した例を示している。
 図2に示す矩形、半円状のグラフィックデータを生成するスクリプトには、例えば矩形形状の描画データを生成するための矩形形状を規定する頂点座標データや、輪郭線の色、態様(実線、点線等)、輪郭内の描画態様(塗りつぶし色など)の様々な描画指定情報(描画命令、描画コマンド等も呼ばれる)が含まれる。
 アプリケーション実行部(スクリプト実行部)102は、この描画指定情報に従って、様々なグラフィックデータを生成する。生成したグラフィックデータは、図2に示すグラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納される。
 合成出力部104は、文字、画像データ描画メモリ101に格納された番組コンテンツと、グラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納されたグラフィックデータの合成処理(重畳処理)を実行し、合成画像が、出力画像50として受信装置30の表示部に出力される。出力画像50は、ブラウザ上の表示画像である。
  [3.受信装置におけるブラウザを利用した画像出力処理における問題点について]
 次に、図3以下を参照して、テレビや携帯端末等の受信装置30におけるブラウザを利用した画像出力処理における問題点について説明する。
 前述したように、ブラウザによる出力画像サイズは、従来は、例えば960×540画素等、比較的、小さな画像サイズが多く利用されていた。
 しかし、近年、より大きな画像サイズである1920×1080画素(Hybridcast)の画像サイズのブラウザが実用化されつつある。
 さらに、テレビ等の表示装置の高画質化も急速に進んでおり、3840×2160画素の4K画像や、7680×4320画素の8K画像を出力可能な4Kテレビや8Kテレビの利用や開発が進んでいる。
 このような状況において、ブラウザによる出力画像サイズも3840×2160画素の4K画像や、7680×4320画素の8K画像と同じ画像サイズを持つ4Kブラウザや、8Kブラウザ等、大型化が求められている。
 しかし、前述したように、現状のテレビは、PC等のデータ処理装置に比較すると、利用可能なメモリ容量は小さく、データ処理機能も低い。
 このような低機能なリソースを利用して上述した4Kブラウザや、8Kブラウザを用いて画像表示を行おうとしても、滑らかな表示ができない可能性が高くなる。
 例えば、図2を参照して説明したように、受信装置30がスクリプトを実行してグラフィックデータを生成して表示する場合、グラフィックデータの生成負荷が過大となり、また高解像度のグラフィックデータを格納する描画メモリの容量も不足し、結果として、スムーズなグラフィックデータの生成、表示処理ができないといった問題が発生する。
 図3は、放送局等の送信装置20から受信装置30に送信される番組コンテンツが4K、あるいは8Kの高解像度画像であり、また、送信装置20が、番組コンテンツとともに受信装置30に送信するHTML文書ファイルに記録されたスクリプトも4K、あるいは8Kのグラフィックデータ描画処理用のスクリプトである場合の受信装置30の表示データ生成処理例を示す図である。
 受信装置30は、送信装置20から送信される4K、あるいは8Kの高解像度画像の符号化データの復号処理を実行し、復号結果である高解像度画像データを、文字、画像データ描画メモリ101に格納する。
 さらに、受信装置30は、送信装置20から受信したHTML文書ファイルに記録されたスクリプトをアプリケーション実行部102に入力し、スクリプトを実行して、4K、あるいは8Kの高解像度画像データからなるグラフィックデータを生成する。
 生成されたグラフィックデータは、図3に示すグラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納される。
 合成出力部104は、文字、画像データ描画メモリ101に格納された番組コンテンツと、グラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納されたグラフィックデータの合成処理(重畳処理)を実行し、合成画像が、出力画像50として、受信装置30の表示部に出力される。出力画像50は、ブラウザ上の表示画像である。
 この一連の処理において、アプリケーション実行部102は、4K、あるいは8Kの高解像度画像データからなるグラフィックデータを生成する処理を実行して、生成した高解像度グラフィックデータをグラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納する処理を実行しなければならない。
 しかし、生成するグラフィックデータの解像度が高い場合、すなわち4Kや8K画像からなる高解像度のグラフィックデータである場合、グラフィックデータの生成処理負荷が過大となる。また、グラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103のメモリ容量も大きなものが必要となる。
 データ処理リソースが不十分なテレビ等の受信装置30は、グラフィックデータの生成処理に時間を要する。また、メモリ容量の少ないテレビ等の受信装置30は、生成した高解像度のグラフィックデータを記録(バッファ)することができない。結果として、グラフィックデータの出力ができなくなる恐れがある。
  [4.受信装置におけるブラウザを利用した画像出力処理の問題点を解決した構成例について]
 次に、上述した問題点を解決し、受信装置におけるブラウザを利用した画像出力処理を、より確実に実行する構成例について説明する。
 図4は、本開示の受信装置30におけるブラウザを利用した画像出力処理の一例を説明する図である。
 図4に示す例も、図3を参照して説明した例と同様、放送局等の送信装置20から受信装置30に送信される番組コンテンツが4K、あるいは8Kの高解像度画像であり、また、送信装置20が、番組コンテンツとともに受信装置30に送信するHTML文書ファイルに記録されたスクリプトも4K、あるいは8Kの高解像度グラフィックデータ描画処理用のスクリプトである場合の例である。
 受信装置30は、送信装置20から送信される4K、あるいは8Kの高解像度画像の符号化データの復号処理を実行し、復号結果である高解像度画像データを、文字、画像データ描画メモリ101に格納する。
 さらに、受信装置30は、送信装置20から受信したHTML文書ファイルに記録されたスクリプトをアプリケーション実行部102に入力し、スクリプトを実行する。
 ここで、アプリケーション実行部102は、4K、あるいは8Kの高解像度画像データからなるグラフィックデータを生成せず、低解像度画像データからなるグラフィックデータを生成する。例えば2Kの低解像度グラフィックデータを生成して、図4に示すグラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納する。
 合成出力部104は、文字、画像データ描画メモリ101に格納された番組コンテンツと、グラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納されたグラフィックデータの合成処理(重畳処理)を実行する。
 合成出力部104は、この合成処理に際して、グラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納された低解像度のグラフィックデータの拡大処理を実行する。すなわち、元の高解像度(4Kまたは8K)画像のデータサイズに変更する画像変換(画像拡大)処理を実行し、変換されたグラフィックデータと、文字、画像データ描画メモリ101に格納された番組コンテンツとの合成処理を実行し、この合成画像を出力画像50として、受信装置30の表示部に出力する。
 この一連の処理において、アプリケーション実行部102は、例えば2Kの低解像度画像データからなるグラフィックデータを生成する処理を実行し、生成した低解像度グラフィックデータをグラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103に格納する処理を実行する。
 このように、生成するグラフィックデータの解像度を低く設定することで、グラフィックデータの生成処理負荷を低減することができる。また、グラフィックデータ描画メモリ(中間描画グラフィックデータバッファ)103のメモリ容量も小さなものとすることが可能となる。
 このような処理を実行することで、データ処理リソースやメモリリソースが不十分なテレビ等の受信装置30においても、グラフィックデータの生成処理を高速に行うことが可能となり、エラーのない合成画像出力を実行することができる。
 図4を参照して説明した処理を実行する受信装置30の具体的な構成例と、具体的な処理シーケンスについて、図5を参照して説明する。
 図5は、受信装置30の一部構成を示すブロック図である。
 図5は、受信装置30が、送信装置20から受信するHTML文書ファイルに基づいて、番組コンテンツと、グラフィックデータからなる合成画像を生成して表示部に表示する構成を示している。
 HTML文書処理部201は、送信装置20から受信したHTML文書ファイルの解釈を実行する。
 HTML文書の一例を図6に示す。
 HTML文書は、図6に示すように、例えば、
 (a)スタイルシート301、
 (b)スクリプト302、
 (c)ボディ303、
 これらの構成要素を持つ。
 スタイルシート301は、ブラウザ画面に表示する各構成要素(テキスト、静止画、動画、グラフィックデータ等)の配置やデザインを規定するデータである。
 スタイルシート301は例えばCSS(Cascading Style Sheet)言語を利用したスタイルシートとして構成される。
 CSSを利用したスタイルシートを適用することで、例えば表示情報に動きを加えたアニメーション、いわゆるCSSアニメーションの表示も可能となる。
 スクリプト302は、先に図2、図3を参照して説明したように、例えばグラフィックデータの生成プログラムである。
 なお、スクリプト302は、ブラウザ上で実行可能なプログラムであり、具体的にはJava(登録商標)スクリプトなどがある。
 スクリプトには、様々な種類があり、グラフィックデータの生成のみならず、2次元画像データや3次元画像データの生成、出力処理、アニメーショングラフッィクデータ等の生成、出力処理等、様々な処理を実行するスクリプトがある。
 また、例えばスクリプトの実行によって生成した2次元グラフィックデータや3次元グラフィックデータと、前述したCSSを利用したスタイルシートと組み合わせることで、各グラフィックデータに動きを加えたアニメーション(CSSアニメーション)表示を行うことも可能である。
 ボディ303は、例えばHTML文書に従って生成されるブラウザ画面上に出力されるテキストや、動画、静止画等のデータ、グラフィックデータ生成用のデータ等を記録した領域である。
 図に示すように、例えば、文字データ情報311、動画データ情報312、静止画データ情報313、グラフィックデータ情報314等が記録される。
 スタイルシート301の具体的な一例について図7を参照して説明する。
 前述したように、スタイルシート301は、ブラウザ画面に表示する各構成要素(テキスト、静止画、動画、グラフィックデータ等)の配置やデザインを規定するデータである。
 図7には、スタイルシートの一部構成を示している。
 スタイルシートには、例えば、図7に示すように、
 輪郭線情報321、領域情報322、背景色情報323、マージン情報324等の情報等が含まれる。
 図7に示す例は、例えばブラウザ画面の一部の矩形領域を規定した情報である。例えばテキストの表示領域の規定情報等に対応する。
 輪郭線情報321は、4ピクセル(画素)幅のタークオレンジ色の実線を規定している。
 領域情報322は、幅200ピクセル、高さ50ピクセルの矩形領域を規定している。
 背景色情報323は、ゴールドを規定している。
 マージン情報324は、50ピクセルのマージンを規定している。
 例えば、これらの情報によって規定されるダークオレンジ色の実線で囲まれた幅200ピクセル、高さ50ピクセルの矩形領域であり、背景色がコールドに設定された領域くにマージン50ピクセルで、テキストが表示される。
 テキストは、図6に示すHTML文書のボディ303に記録されたテキストである。
 図7に示す例は、スタイルシート301の一例であり、スタイルシート301には、ブラウザ画面に表示される他の様々なデータの表示スタイルを規定したデータが記録される。
 また、前述したアニメーション表示を実現するCSSスタイルシート等、様々なスタイルシートがある。
 次に、図6を参照して説明したスクリプト302の具体例について説明する。
 スクリプト302は、先に図2、図3を参照して説明したように、例えばグラフィックデータの生成プログラムである。
 前述したように、スクリプト302は、ブラウザ上で実行可能なプログラムであり、具体的にはJava(登録商標)スクリプトなどがある。
 また、スクリプトは、グラフィックデータの生成のみならず、3次元画像データの生成、出力処理、アニメーショングラフッィクデータの生成、出力処理等、様々な処理を実行するスクリプトがある。
 スクリプトの一例を図8に示す。
 図8に示す例は、2次元(2D)グラフィックデータの生成処理を実行するスクリプトの例である。
 図8に示す2次元(2D)グラフィックデータの生成処理実行スクリプトは、例えば以下のような描画命令によって構成される。
 (a)context.fillRect(200,400,500,1000)
 (b)context.strokeStyle=rgb(00,00,255)
 (c)context.fillStyle=rgb(255,00,00)
 (d)context.strokeRect(2000,800,1000,500)
 (e)context.arc(1500,750,600,Math.PI*1,Math.PI*2,true)
 (a)context.fillRect(200,400,500,1000)
 この記述は、四角形の描画命令であり、左から200(ピクセル)、上から400(ピクセル)の位置を起点として、幅500(ピクセル)、高さ1000(ピクセル)の四角形を描画することを指示する記述である。
 (b)context.strokeStyle=rgb(00,00,255)
 この記述は、上記の(a)で指定された四角形の枠の色(RGB)を指定するデータであり、B=255、すなわち青色の四角形枠線を描画することを指示する記述である。
 (c)context.fillStyle=rgb(255,00,00)
 この記述は、上記の(a)で指定された四角形内の塗りつぶしの色(RGB)を指定するデータであり、R=255、すなわち四角形の中を赤色で塗りつぶすことを指示する記述である。
 (d)context.strokeRect(2000,800,1000,500)
 この記述は、四角形の枠線の描画命令であり、左から2000(ピクセル)、上から800(ピクセル)の位置を起点として、幅1000(ピクセル)、高さ500(ピクセル)の四角形の枠線を描画することを指示する記述である。
 (e)context.arc(1500,750,600,Math.PI*1,Math.PI*2,true)
 この記述は、半円の描画命令であり、左から1500(ピクセル)、上から750(ピクセル)の位置を起点として、半径600(ピクセル)の半円を反時計回り(左回り)で描画することを指示する記述である。
 スクリプト302には、例えば、このように、様々なグラフィックデータの描画処理命令が記述される。
 受信装置のアプリケーション(スクリプト)実行部は、このようなスクリプトの記述を解釈して、グラフィックデータの描画、表示処理を実行する。
 図8に示すスクリプトの例は、2次元(2D)グラフィックデータの描画処理を実行させるスクリプトの例である。
 図9、図10に3次元(3D)グラフィックデータの描画処理を実行させるスクリプトの例を示す。
 図9、図10に示すように、3次元(3D)グラフィックデータの描画処理を実行させるスクリプトには、例えば以下のような記述が含まれる。
 (a)表示領域情報451、
 (b)カメラ位置情報452、
 (c)レンダラ情報453、
 (d)光源位置情報454、
 (e)表示オブジェクト情報454、
 (f)アニメーション表示情報457、
 受信装置のアプリケーション(スクリプト)実行部は、このようなスクリプトの記述を解釈して、3Dグラフィックデータの描画、アニメーション表示処理を実行する。
 図5に戻り、受信装置30の構成と処理について説明する。
 HTML文書処理部201は、図6を参照して説明した構成を持つHTML文書の解析処理を実行する。
 レイアウト処理部202は、HTML文書に含まれるスタイルシートに従って、ブラウザ画面内の各校正要素の配置等のレイアウトを決定する。
 このレイアウト処理においては、レイアント処理用メモリ203が利用される。
 メディアデータ描画処理部(メディアレンダラ)204は、レイアウト処理部202によって配置が決定された各領域に対して、例えば、放送局等の送信装置20から送信される高解像度(4K、8K等)の画像データを含む番組コンテンツの描画処理を実行する。
 描画処理は、例えば放送番組を構成する文字、静止画、動画、それぞれ個別に行われる。
 描画結果は、文字、画像データ描画メモリ205内に、個別に記録される。
 文字データの描画結果は、文字描画プレーン211として文字、画像データ描画メモリ205内に格納される。
 静止画データの描画結果は、静止画描画プレーン212として文字、画像データ描画メモリ205内に格納される。
 動画データの描画結果は、動画描画プレーン213として文字、画像データ描画メモリ205内に格納される。
 これらは、いずれも放送局等の送信装置20から送信される高解像度(4K、8K等)のデータである。
 すなわち、文字、画像データ描画メモリ205内には、高解像度(4K、8K等)の文字、静止画、動画の各データが格納される。
 一方、図5に示すグラフィック描画データ生成部220内のアプリケーション実行部(スクリプト実行エンジン)221には、HTML文書処理部201によって解析されたHTML文書中のスクリプトデータ、およびスクリプトの実行に必要となる各データが入力される。
 アプリケーション実行部(スクリプト実行エンジン)221は、これらの入力データに基づいてスクリプトを実行する。アプリ実行用ワークメモリ222をワークエリアとして利用してスクリプトを実行する処理が行われる。
 スクリプトは、例えば、図4中のグラフィックデータ描画メモリ103内に示すグラフィックデータを出力するプログラムなどである。
 前述したように、スクリプトは、例えば、静止画、動画、音声、2Dデータ、3Dデータ等、様々なデータを生成するプログラムによって構成される。
 アプリケーション実行部(スクリプト実行エンジン)221は、HTML文書に記録されたスクリプトに従ったグラフィックデータの描画要求をグラフィックデータ描画処理部(グラフィックレンダラ)223に出力する。
 グラフィックデータ描画処理部(グラフィックレンダラ)223は、アプリケーション実行部(スクリプト実行エンジン)221の処理要求に従って、グラフィックデータを、グラフィックデータ描画メモリ224に記録する。すなわち、グラフィックデータ描画メモリ224にグラフィック描画プレーンを生成する。
 本開示の処理構成において、グラフィック描画処理部(グラフィックレンダラ)223は、HTML文書に記録されたスクリプトに従った高解像度のグラフィック描画プレーンを生成することなく、解像度を低下させたグラフィック描画プレーンを生成する。
 すなわち、グラフィック描画データ生成部220は、HTML文書に記録されたスクリプトに従った4Kや8K等の高解像度グラフィック描画プレーンの生成を行わず、解像度を低下させたグラフィック描画プレーン、例えば2K画像相当の解像度を持つグラフィック描画プレーンの生成処理を行なう。
 このように、グラフィックデータ描画メモリ224に生成されるグラフィック描画プレーンは、HTML文書に記録されたスクリプトのオリジナルの解像度のグラフィックデータではなく、HTML文書に記録されたスクリプトのオリジナルの解像度より低い低解像度のグラフィックデータ(グラフィック描画プレーン)となる。
 なお、グラフィックデータ描画メモリ224には、レイアウト処理部202によって配置が決定された領域にグラフィック描画プレーンが描画される。
 上述したように、スクリプトに従って生成するグラフィックデータを低解像度のデータとすることで、スクリプトに従ったグラフィックデータの描画処理の負荷を低減することが可能となり、また、生成したグラフィックデータの格納領域であるグラフィックデータ描画メモリ224の必要容量を小さくすることが可能となる。
 例えば、HTML文書のスクリプトの記述が4K画像相当のグラフィックデータの描画命令から構成され、グラフィック描画処理部(グラフィックレンダラ)223が、2K画像相当のグラフィックデータをグラフィックデータ描画メモリ224に記録する場合、2K画像相当のグラフィックデータは、4K画像相当のグラフィックデータの1/4のサイズのデータとなる。すなわち、縦方向、横方向とも1/2に縮小されたデータサイズとなる。
 また、例えば、HTML文書のスクリプトの記述が8K画像相当のグラフィックデータの描画命令から構成され、グラフィック描画処理部(グラフィックレンダラ)223が、2K画像相当のグラフィックデータをグラフィックデータ描画メモリ224に記録する場合、2K画像相当のグラフィックデータは、8K画像相当のグラフィックデータの1/8のサイズのデータとなる。すなわち、縦方向、横方向とも1/4に縮小されたデータサイズとなる。
 なお、HTML文書に記録されたスクリプトは、高解像度グラフィックデータの描画処理用のスクリプトであり、例えばグラフィックデータの描画領域等を指定する座標は、4Kや8K等の高解像度対応の座標系で表現されている。
 スクリプトに記録される座標データとしては、例えばブラウザ上に2次元(2D)グラフィックデータを描画するスクリプトの仕様である「canvas」に従った座標データ、あるいはブラウザ上に3次元(3D)グラフィックデータを描画するスクリプトの仕様である「WebGL」に従った座標データ等がある。
 2K等の低解像度グラフィックデータ(グラフィック描画プレーン)を生成するためには、HTML文書のスクリプトに記載された高解像度対応の座標指定情報を、低解像度対応の座標指定情報に変換して、グラフィックデータを描画する処理を行なうことが必要となる。
 この座標系の変換処理は、図5に示すグラフィック描画データ生成部220内のアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかで行う。
 例えば、図5に示すアプリケーション実行部221が座標変換処理を行なう場合は、アプリケーション実行部221において、HTML文書中のスクリプトに記述された高解像度対応の座標指定データを、低解像度対応の座標指定データに変換し、変換後のスクリプト記述に従った描画命令をグラフィックデータ描画処理部223に出力する。
 グラフィックデータ描画処理部223は、アプリケーション実行部221から入力する低解像度対応の座標系に従った描画命令に従ってグラフィックデータの描画処理を実行する。この処理によって、グラフィックデータ描画メモリ224には、低解像度のグラフィックデータ(グラフィック描画プレーン)が記録される。
 また、グラフィックデータ描画処理部223が、座標変換を行う場合は、図5に示すアプリケーション実行部221は、HTML文書中のスクリプトに記述された高解像度対応の座標指定データをそのまま用いた描画命令をグラフィックデータ描画処理部223に出力する。
 グラフィックデータ描画処理部223は、アプリケーション実行部221から入力する描画命令中の高解像度対応の座標系を、低解像度対応の座標系に変換し、変換後の低解像度対応の座標系に従った描画命令に従ってグラフィックデータの描画処理を実行する。この処理によって、グラフィックデータ描画メモリ224には、低解像度のグラフィックデータ(グラフィック描画プレーン)が記録される。
 このように、HTML文書中のスクリプトの記述を低解像度対応の座標系に変換する処理は、アプリケーション実行部221、またはグラフィックデータ描画処理部223のいずれか一方において実行することが可能である。
 グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンは、画像変換部231に入力される。
 画像変換部231は、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンを元のHTML文書に記録されたスクリプトに従った高解像度のグラフィックデータに相当する大きさのグラフィックデータに拡大する画像拡大処理を実行する。
 例えば、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンが2K画像相当の画像データであり、HTML文書に記録されたスクリプトに従った高解像度のグラフィックデータが4K画像相当のグラフィックデータである場合、画像変換部231は、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンを、縦方向サイズ、横方向サイズのそれぞれを2倍にする画像拡大処理を実行する。
 この拡大処理により、グラフィックデータ描画メモリ224に記録された低解像度(2K)のグラフィック描画プレーンを元のHTML文書に記録されたスクリプトに従った高解像度(4K)のグラフィックデータに相当する大きさのグラフィックデータに拡大することができる。
 また、例えば、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンが2K画像相当の画像データであり、HTML文書に記録されたスクリプトに従った高解像度のグラフィックデータが8K画像相当のグラフィックデータである場合、画像変換部231は、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンを、縦方向サイズ、横方向サイズのそれぞれを4倍にする画像拡大処理を実行する。
 この拡大処理により、グラフィックデータ描画メモリ224に記録された低解像度(2K)のグラフィック描画プレーンを元のHTML文書に記録されたスクリプトに従った高解像度(8K)のグラフィックデータに相当する大きさのグラフィックデータに拡大することができる。
 画像変換部231の実行する画像拡大処理により、グラフィック描画プレーンは、HTML文書のスクリプトに従って生成されたオリジナルの解像度のグラフィックデータの大きさと同一の大きさを持つグラフィックデータとなる。
 合成部232は、文字、画像データ描画メモリ205に格納された文字、静止画、動画各々に対応する表示部出力用データである描画プレーン、すなわち、
 文字描画プレーン211、
 静止画描画プレーン212、
 動画描画プレーン213、
 これらの各描画プレーンと、
 画像変換部231において拡大処理がなされたグラフィック描画プレーンとの合成処理を実行する。
 文字、画像データ描画メモリ205に格納された文字描画プレーン211、静止画描画プレーン212、動画描画プレーン213、これらの描画プレーンは、HTML文書の記述に従って生成された描画プレーンであり、高解像度、例えば4K、あるいは8K等の高解像度データである。
 一方、画像変換部231から入力するグラフィック描画プレーンは、低解像度、例えば2K画像相当の解像度をグラフィック描画プレーンの拡大データである。解像度は低いままであるが、画像の大きさは、HTML文書に記録されたスクリプトを実行して得られるオリジナル解像度のグラフィック描画プレーンと同一の大きさを有する。
 合成部232は、文字、画像データ描画メモリ205に格納された文字、静止画、動画各々に対応する高解像度の、
 文字描画プレーン211、
 静止画描画プレーン212、
 動画描画プレーン213、
 これらの各描画プレーンと、
 画像変換部231において拡大処理がなされた低解像度のグラフィック描画プレーンとの合成処理を実行する。
 なお、合成部232は、レイアウト処理部202の決定したレイアウトに従って生成された複数の異なる描画プレーンの合成処理を実行する。
 前述したように、レイアウト処理部202は、HTML(Hyper Text Markup Language)内に記述されたスタイルシートに従ったレイアウト決定を行う。合成部232は、このレイアウト処理部202の決定したレイアウトに従って生成された複数の異なる描画プレーンの合成処理を実行する。
 合成部232の生成した複数の描画プレーンの合成結果が表示用フレームバッファ233に格納され、表示部250に出力される。
 表示部250の表示画像は、例えば、図4に示す出力画像50に相当する画像である。
 2つの矩形画像と、1つの半円形画像が、HTML文書に記録されたスクリプトを実行して得られるグラフィックデータである。
 これらのグラフィックデータは、描画処理過程において、解像度を低下させて生成した描画データ(グラフィック描画プレーン)を、HTML文書のオリジナルのスクリプトに従った解像度相当の大きさまで拡大して得られたグラフィックデータである。
 その他の出力データは、HTML文書に従って得られるオリジナルの高解像度画像となる。
 このように、本開示の受信装置30における画像生成、出力処理においては、HTML文書に記録されたスクリプトを実行して得られるグラフィックデータを、解像度を低下させたグラフィック描画プレーンとして生成する描画処理を実行する。
 その後、低解像度のグラフィック描画プレーンの拡大処理を実行して、元のHTML文書に記録されたスクリプトに従った解像度のグラフィック描画プレーンと同じ大きさのグラフィック描画プレーンを生成して、他の高解像度の画像、文字等の描画プレーンに重畳して表示する。
 これらの処理により、グラフィック描画データ(グラフィック描画プレーン)の生成処理の負荷を軽減し、また、グラフィック描画データ(グラフィック描画プレーン)を格納するメモリの容量も小さくすることが可能となる。
 従って、データ処理能力が低く、またデータ記録用のメモリ容量の小さいテレビ等の装置においても、スクリプトの実行によって生成されるグラフィックデータを含む合成画像の出力を遅延なく確実に実行することが可能となる。
 なお、上述した実施例では、高解像度グラフィックデータを4K、8K画像相当のグラフィックデータとし、低解像度グラフィックデータを2K画像相当のグラフィックデータとした例を説明したが、これは一例である。
 図5に示すグラフィック描画データ生成部におけるグラフィックデータ生成時の解像度低下を伴うグラフィックデータの生成、描画処理は、HTML文書のスクリプト記述に従った解像度より低い解像度のグラフィックデータを生成して描画する処理であり、様々な解像度の組み合わせが可能である。
 HTML文書に記録されたスクリプトが8K画像相当のグラフィックデータの生成スクリプトである場合、図5に示すグラフィック描画データ生成部における解像度低下を伴うグラフィックデータ生成処理態様としては、例えば、2K画像相当のグラフィックデータ生成のみならず、4K画像相当のグラフィックデータ生成処理も含まれる。
 このように、本開示の処理は、元のHTML文書のスクリプト記述に従った解像度を持つグラフィックデータより低い様々な解像度のグラフィックデータの生成を行う構成を含むものである。
  [5.本開示の情報処理装置(受信装置)の実行する処理のシーケンスについて]
 次に、図11以下に示すフローチャートを参照して、本開示の情報処理装置(受信装置)の実行する処理のシーケンスについて説明する。
 図11に示すフローチャートは、本開示の情報処理装置(受信装置30)の実行する処理の一例を示すシーケンスについて説明するフローチャートである。
 受信装置30は、図11に示す処理シーケンスに従った処理の手順を記録したプログラムを記憶部に格納し、プログラム実行機能を持つCPU等を有するデータ処理部がプログラムを実行して、図11に示すフローに従った処理を実行する。
 なお、データ処理部は、例えば先に図5を参照して説明した各構成部の処理を実行する機能を有する。
 以下、図11に示すフローチャートの各ステップの処理について、順次、説明する。
  (ステップS101)
 受信装置のデータ処理部は、まず、ステップS101において、HTML文書の解析処理を実行する。
 この処理は、図5に示すHTML文書処理部201の実行する処理に相当する。
 HTML文書は、例えば放送局等の送信装置20から受信したHTML文書である。
 HTML文書は、先に図6を参照して説明したように、例えば、
 (a)スタイルシート301、
 (b)スクリプト302、
 (c)ボディ303、
 これらの構成要素を持つ。
  (ステップS102)
 次に、受信装置のデータ処理部は、ステップS102において、HTML文書に記述されたスタイルシートに従って、受信装置の表示部に表示する表示データのスタイル、すなわち、各構成要素の表示位置等の表示態様(スタイル)を決定する。
 この処理は、図5を参照して説明したレイアウト処理部202の実行する処理である。
 スタイルシートは、先に図7を参照して説明したように、表示データの各構成要素(文字、静止画、動画)各々に関する表示位置や、表示態様についての情報が記録され、レイアウト処理部202は、このスタイルシートの記述に従って、表示データの各構成要素についての表示位置や表示態様を決定する。
  (ステップS103)
 次に、受信装置のデータ処理部は、ステップS103において、HTML文書の記述に従い、受信装置の表示部に表示する表示データの構成要素である画像、文字等の表示用データを生成する。
 この処理は、図5を参照して説明したメディアデータ描画処理部(メディアレンダラ)204の実行する処理である。
 メディアデータ描画処理部(メディアレンダラ)204は、レイアウト処理部202によって配置が決定された各領域に対して、例えば、放送局等の送信装置20から送信される高解像度(4K、8K等)の画像データを含む番組コンテンツの描画処理を実行する。
 描画処理は、例えば放送番組を構成する文字、静止画、動画、それぞれ個別に行われる。
 描画結果は、図5に示す文字、画像データ描画メモリ205内に、個別に記録される。図5に示すように、
 文字データの描画結果は、文字描画プレーン211として文字、画像データ描画メモリ205内に格納される。
 静止画データの描画結果は、静止画描画プレーン212として文字、画像データ描画メモリ205内に格納される。
 動画データの描画結果は、動画描画プレーン213として文字、画像データ描画メモリ205内に格納される。
 これらは、いずれも放送局等の送信装置20から送信される高解像度(4K、8K等)のデータである。
 すなわち、文字、画像データ描画メモリ205内には、高解像度(4K、8K等)の文字、静止画、動画の各データが格納される。
  (ステップS104)
 次に、受信装置のデータ処理部は、ステップS104において、スクリプトの実行によるグラフィックデータの描画処理が必要か否かを判定する。
 ステップS101において解析したHTML文書にグラフィックデータの描画処理を実行させるためのスクリプト(ブラウザ上で実行されるプログラム)が含まれるか否かを判定する。
 スクリプトの実行によるグラフィックデータの描画処理が必要であると判定した場合は、ステップS111に進む。
 一方、スクリプトの実行によるグラフィックデータの描画処理が必要でないと判定した場合は、ステップS105に進む。
  (ステップS105)
 ステップS104において、スクリプトの実行によるグラフィックデータの描画処理が必要でないと判定した場合は、ステップS105に進む。
 受信装置のデータ処理部は、ステップS105において、表示データ(高解像度の画像、文字等)を表示用フレームバッファに格納し、表示用フレームバッファの格納画像を表示部に出力して表示する処理を実行する。
 具体的には、先に説明したステップS103において、図5に示す文字、画像データ描画メモリ205に描画した、以下の各描画プレーン、すなわち、
 文字描画プレーン211、
 静止画描画プレーン212、
 動画描画プレーン213、
 これらの描画プレーンを、図5に示す表示用フレームバッファ233に格納し、表示用フレームバッファ233の格納画像を表示部250に出力して表示する処理を実行する。
 これらの処理では、グラフィックデータの表示処理は実行されず、放送局等の送信装置20から送信される高解像度(4K、8K等)のデータのみからなる表示用データが生成されて表示される。
  (ステップS111)
 一方、ステップS104において、スクリプトの実行によるグラフィックデータの描画処理が必要であると判定した場合は、ステップS111に進む。
 受信装置のデータ処理部は、ステップS111において、グラフィックデータ描画処理用のスクリプト関連データを、図5に示すアプリケーション実行部(スクリプト実行エンジン)221に出力する。
 すなわち、図5に示すアプリケーション実行部(スクリプト実行エンジン)221に、HTML文書処理部201によって解析されたHTML文書中のスクリプトデータ、およびスクリプトの実行に必要となる各データが入力される。
  (ステップS112)
 次に、アプリケーション実行部(スクリプト実行エンジン)221は、ステップS112において、これらの入力データに基づいてスクリプトを実行する。アプリ実行用ワークメモリ222をワークエリアとして利用してスクリプトを実行する。
 スクリプトは、例えば、図4中のグラフィックデータ描画メモリ103内に示すグラフィックデータを出力するプログラムである。
 アプリケーション実行部(スクリプト実行エンジン)221は、HTML文書に記録されたスクリプトに従ったグラフィックデータの描画要求をグラフィックデータ描画処理部(グラフィックレンダラ)223に出力する。
  (ステップS113)
 ステップS113において、図5に示すグラフィックデータ描画処理部(グラフィックレンダラ)223が、アプリケーション実行部(スクリプト実行エンジン)221の処理要求に従って、グラフィックデータを、グラフィックデータ描画メモリ224に記録する。すなわち、グラフィックデータ描画メモリ224にグラフィック描画プレーンを生成する。
 なお、先に説明したように、グラフィック描画処理部(グラフィックレンダラ)223は、HTML文書に記録されたスクリプトに従った高解像度のグラフィック描画プレーンを生成することなく、解像度を低下させたグラフィック描画プレーンを生成する。
 すなわち、HTML文書に記録されたスクリプトに従った4Kや8K等の高解像度グラフィック描画プレーンの生成を行わず、解像度を低下させた、例えば2K画像相当のグラフィック描画プレーンの生成処理を行なう。
 グラフィックデータ描画メモリ224に生成されるグラフィック描画プレーンは、HTML文書に記録されたスクリプトのオリジナルの解像度のグラフィックデータではなく、HTML文書に記録されたスクリプトのオリジナルの解像度より低い低解像度のグラフィックデータ(グラフィック描画プレーン)となる。
 なお、前述したように、HTML文書に記録されたスクリプトは、高解像度グラフィックデータの描画処理用のスクリプトであり、例えばグラフィックデータの描画領域等を指定する座標は、4Kや8K等の高解像度対応の座標系で表現されている。
 2K等の低解像度グラフィツクデータ(グラフィック描画プレーン)を生成するためには、HTML文書のスクリプトに記載された高解像度対応の座標指定情報を、低解像度対応の座標指定情報に変換して、グラフィックデータを描画する処理を行なうことが必要となる。
 先に説明したように、この座標系の変換処理は、図5に示すアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかで行う。
 例えば、図5に示すアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかにおいて、HTML文書に記録された高解像度グラフィックデータの描画処理用のスクリプトに記録された高解像度データ対応の座標データを低解像度データ対応の座標データに変換する処理を行なう。
 この変換後の座標データに従って描画処理を実行することで、グラフィックデータ描画メモリ224には、低解像度のグラフィックデータ(グラフィック描画プレーン)が記録される。
  (ステップS114)
 次のステップS114の処理は、図5に示す画像変換部231の処理である。
 画像変換部231は、ステップS114において、グラフィックデータ描画メモリ224に格納された低解像度グラフィックデータの画像拡大処理を実行する。
 すなわち、グラフィックデータ描画メモリ224に格納された低解像度グラフィックデータを、HTML文書に記述されたスクリプトに従って生成される元の高解像度画像の表示態様に応じた大きさに変換する処理を実行する。
 例えば、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンが2K画像相当の画像データであり、HTML文書に記録されたスクリプトに従った高解像度のグラフィックデータが4K画像相当のグラフィックデータである場合、画像変換部231は、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンを、縦方向サイズ、横方向サイズのそれぞれを2倍にする画像拡大処理を実行する。
 画像変換部231の実行する画像拡大処理により、グラフィック描画プレーンは、HTML文書のスクリプトに従って生成されたオリジナルの解像度のグラフィックデータの大きさと同一の大きさを持つグラフィックデータとなる。
  (ステップS115)
 次のステップS115の処理は、図5に示す合成部232の実行する処理である。
 合成部232は、文字、画像データ描画メモリ205に格納された文字、静止画、動画各々に対応する表示部出力用データである描画プレーン、すなわち、
 文字描画プレーン211、
 静止画描画プレーン212、
 動画描画プレーン213、
 これらの各描画プレーンと、
 画像変換部231において拡大処理がなされたグラフィック描画プレーンとの合成処理を実行する。
 文字、画像データ描画メモリ205に格納された文字描画プレーン211、静止画描画プレーン212、動画描画プレーン213、これらの描画プレーンは、HTML文書の記述に従って生成された描画プレーンであり、高解像度、例えば4K、あるいは8K等の高解像度データである。
 一方、画像変換部231から入力するグラフィック描画プレーンは、低解像度、例えば2K画像相当の解像度をグラフィック描画プレーンの拡大データである。解像度は低いままであるが、画像の大きさは、HTML文書に記録されたスクリプトを実行して得られるオリジナル解像度のグラフィック描画プレーンと同一の大きさを有する。
 合成部232は、文字、画像データ描画メモリ205に格納された文字、静止画、動画各々に対応する高解像度の、
 文字描画プレーン211、
 静止画描画プレーン212、
 動画描画プレーン213、
 これらの各描画プレーンと、
 画像変換部231において拡大処理がなされた低解像度のグラフィック描画プレーンとの合成処理を実行する。
  (ステップS116)
 合成部232が、ステップS115における合成処理の結果として生成した合成画像は、ステップS116において、図5に示す表示用フレームバッファ233に格納され、表示部250に出力される。
 先に説明したように、表示部250の表示画像は、例えば、図4に示す出力画像50に相当する画像である。
 2つの矩形画像と、1つの半円形画像が、HTML文書に記録されたスクリプトを実行して得られるグラフィックデータである。
 これらのグラフィックデータは、描画処理過程において、解像度を低下させて生成した描画データ(グラフィック描画プレーン)を、HTML文書のオリジナルのスクリプトに従った解像度相当の大きさまで拡大して得られたグラフィックデータである。
 その他の出力データは、HTML文書に従って得られるオリジナルの高解像度画像となる。
 本開示の受信装置30は、この図11に示すフローチャートに従った処理を実行する。
 HTML文書に記録されたスクリプトを実行して得られるグラフィックデータを、解像度を低下させたグラフィック描画プレーンとして生成し、その後、低解像度のグラフィック描画プレーンの拡大処理を実行して、元のHTML文書に記録されたスクリプトに従った解像度のグラフィック描画プレーンと同じ大きさのグラフィック描画プレーンを生成して、他の高解像度の画像、文字等の描画プレーンに重畳して表示する。
 これらの処理により、グラフィック描画データ(グラフィック描画プレーン)の生成処理の負荷を軽減し、また、グラフィック描画データ(グラフィック描画プレーン)を格納するメモリの容量も小さくすることが可能となる。
 従って、データ処理能力が低く、またデータ記録用のメモリ容量の小さいテレビ等の装置においても、スクリプトの実行によって生成されるグラフィックデータを含む合成画像の出力を遅延なく確実に実行することが可能となる。
 なお、上述した実施例では、高解像度グラフィックデータを4K、8K画像相当のグラフィックデータとし、低解像度グラフィックデータを2K画像相当のグラフィックデータとした例を説明したが、これは一例である。
 HTML文書に記録されたスクリプトが8K画像相当のグラフィックデータの生成スクリプトである場合、解像度低下を伴うグラフィックデータ生成処理態様としては、例えば、2K画像相当のグラフィックデータ生成のみならず、4K画像相当のグラフィックデータを生成する処理も含まれる。
 本開示のには、元のHTML文書のスクリプト記述に従った解像度を持つグラフィックデータより低い様々な解像度のグラフィックデータを生成する処理が含まれる。
  [6.グラフィックデータ描画処理に際して解像度低下処理の要否判定を実行して判定結果に応じた処理を行なう実施例について]
 上述した実施例では、受信装置30は、グラフィックデータ描画処理に際して、すべて解像度の低下処理を行ない、低解像度のグラフィックデータを描画する構成として説明した。
 次に、グラフィックデータ描画処理に際して解像度低下処理の要否判定を実行して判定結果に応じた処理を行なう実施例について
 受信装置30のリソースが十分である状況、例えば、グラフィックデータの描画処理に利用可能なリソースが十分であり、また、グラフィックデータの描画メモリの空き容量も十分である場合などにおいては、グラフィックデータの描画処理に際して解像度を低下させることなく、高解像度のグラフィックデータを描画することで、高解像度のグラフィックデータが表示可能となり、より高画質の画像を出力することができる。
 例えば、HTML文書に記述されたスクリプトに従って描画されるグラフィックデータのサイズが小さい場合などには、スクリプトの実行によるグラフィックデータの描画処理の負荷も少なく、また、描画データを格納するメモリの容量も小さいもので十分である。
 このような場合は、グラフィックデータの描画処理において解像度の低下処理を行なうことなくHTML文書に記述されたスクリプトをそのまま実行して、高解像度のグラフィック描画プレーンを生成してグラフィックデータ描画メモリに格納する構成としてもよい。
 情報処理装置(受信装置30)が、グラフィックデータの描画処理に際して、解像度低下処理を行なうか否かを判定する場合、例えば以下のような判定処理を行なう。
 (判定処理)情報処理装置(受信装置30)の利用可能なリソース(データ処理能力、メモリ容量)が、HTML文書に記述されたスクリプトによるグラフィックデータの描画処理を実行する十分なリソースであるか否かを判定する。
 上記判定処理の結果として、リソースが十分であると判定した場合は、図5に示すグラフィックデータ描画処理部223は、グラフィックデータの描画処理に際して、解像度低下処理を行なわず、高解像度のグラフィック描画プレーンを生成して、図5に示すグラフィック描画メモリ224に格納する。
 この場合、図5に示す画像変換部231は、画像拡大等の画像変換を実行せず、グラフィック描画メモリ224に格納された高解像度のグラフィック描画プレーンをそのまま合成部232に出力する。
 一方、上記判定処理の結果として、リソースが十分でないと判定した場合は、図5に示すグラフィックデータ描画処理部223は、グラフィックデータの描画処理に際して、解像度低下処理を実行して、低解像度のグラフィック描画プレーンを生成して、図5に示すグラフィック描画メモリ224に格納する。
 この場合、図5に示す画像変換部231は、画像拡大等の画像変換を実行する。すなわち、グラフィック描画メモリ224に格納された低解像度のグラフィック描画プレーンを、高解像度のグラフィックデータに相当する画像サイズに拡大し、拡大データを合成部232に出力する。
 なお、リソース状況は、情報処理装置(受信装置30)のデータ処理状況に応じて逐次、変化する場合がある。
 例えば情報処理装置(受信装置30)は、グラフィックデータの描画処理に並行して、グラフィックデータの描画処理以外のその他のデータ処理も行われる。このようなその他のデータ処理の負荷が大きいと、グラフィックデータの描画処理に割り当て可能なリソースは少なくなる。
 一方、グラフィックデータの描画処理以外のその他のデータ処理の負荷が小さい場合は、グラフィックデータの描画処理に割り当て可能なリソースは多くなる。
 このように、グラフィックデータの描画処理に割り当て可能なリソースは、遂次変動する可能性があり、グラフィックデータの描画処理に際して解像度低下処理を行なうか否かの判定を行なう場合、その時点での利用可能なリソースを確認した上で判定を行なうことが好ましい。
 以下、図12、図13に示すフローチャートを参照して、グラフィックデータ描画処理に際して解像度低下処理の要否判定を実行し、判定結果に応じた処理を行なう実施例の処理シーケンスについて説明する。
 図12、図13に示すフローチャートは、本開示の情報処理装置(受信装置30)の実行する処理の一例を示すシーケンスについて説明するフローチャートである。
 受信装置30は、図12~図13に示す処理シーケンスに従った処理の手順を記録したプログラムを記憶部に格納し、プログラム実行機能を持つCPU等を有するデータ処理部においてプログラムを実行して、図12~図13に示すフローに従った処理を実行する。
 なお、データ処理部は、例えば先に図5を参照して説明した各構成部の処理を実行する機能を有する。
 以下、図12、図13に示すフローチャートの各ステップの処理について、順次、説明する。
  (ステップS201~S204)
 ステップS201~S204の処理は、先に図11に示すフローチャートを参照して説明したステップS101~S104の処理と同じ処理である。
 これらの処理をまとめて説明する。
 受信装置のデータ処理部は、まず、ステップS201において、HTML文書の解析処理を実行する。
 この処理は、図5に示すHTML文書処理部201の実行する処理に相当する。
 次に、受信装置のデータ処理部は、ステップS202において、HTML文書に記述されたスタイルシートに従って、受信装置の表示部に表示する表示データのスタイル、すなわち、過去構成要素の表示位置等の表示態様(スタイル)を決定する。
 この処理は、図5を参照して説明したレイアウト処理部202の実行する処理である。
 次に、受信装置のデータ処理部は、ステップS203において、HTML文書の記述に従い、受信装置の表示部に表示する表示データの構成要素である画像、文字等の表示用データを生成する。
 この処理は、図5を参照して説明したメディアデータ描画処理部(メディアレンダラ)204の実行する処理である。
 メディアデータ描画処理部(メディアレンダラ)204は、レイアウト処理部202によって配置が決定された各領域に対して、例えば、放送局等の送信装置20から送信される高解像度(4K、8K等)の画像データを含む番組コンテンツの描画処理を実行する。
 描画処理は、例えば放送番組を構成する文字、静止画、動画、それぞれ個別に行われる。
 描画結果は、図5に示す文字、画像データ描画メモリ205内に、個別に記録される。図5に示すように、
 文字データの描画結果は、文字描画プレーン211として文字、画像データ描画メモリ205内に格納される。
 静止画データの描画結果は、静止画描画プレーン212として文字、画像データ描画メモリ205内に格納される。
 動画データの描画結果は、動画描画プレーン213として文字、画像データ描画メモリ205内に格納される。
 次に、受信装置のデータ処理部は、ステップS204において、スクリプトの実行によるグラフィックデータの描画処理が必要か否かを判定する。
 ステップS201において解析したHTML文書にグラフィックデータの描画処理を実行させるためのスクリプト(ブラウザ上で実行されるプログラム)が含まれるか否かを判定する。
 スクリプトの実行によるグラフィックデータの描画処理が必要であると判定した場合は、ステップS211に進む。
 一方、スクリプトの実行によるグラフィックデータの描画処理が必要でないと判定した場合は、ステップS205に進む。
  (ステップS205)
 ステップS204において、スクリプトの実行によるグラフィックデータの描画処理が必要でないと判定した場合は、ステップS205に進む。
 受信装置のデータ処理部は、ステップS205において、表示データ(高解像度の画像、文字等)を表示用フレームバッファに格納し、表示用フレームバッファの格納画像を表示部に出力して表示する処理を実行する。
 具体的には、先に説明したステップS203において、図5に示す文字、画像データ描画メモリ205に描画した、以下の各描画プレーン、すなわち、
 文字描画プレーン211、
 静止画描画プレーン212、
 動画描画プレーン213、
 これらの描画プレーンを、図5に示す表示用フレームバッファ233に格納し、表示用フレームバッファ233の格納画像を表示部250に出力して表示する処理を実行する。
 これらの処理では、グラフィックデータの表示処理は実行されず、放送局等の送信装置20から送信される高解像度(4K、8K等)のデータのみからなる表示用データが生成されて表示される。
  (ステップS211)
 ステップS211の処理は、先に図11に示すフローチャートを参照して説明したステップS111の処理と同じ処理である。
 ステップS204において、スクリプトの実行によるグラフィックデータの描画処理が必要であると判定した場合は、ステップS211に進む。
 受信装置のデータ処理部は、ステップS211において、グラフィックデータ描画処理用のスクリプト関連データを、図5に示すアプリケーション実行部(スクリプト実行エンジン)221に出力する。
  (ステップS212)
 ステップS212において、情報処理装置(受信装置30)のデータ処理部は、グラフィックデータの描画処理に際して、HTML文書のスクリプト記述に従った解像度を持つグラフィックデータではなく、解像度を低下させたグラフィックデータを描画する必要性があるか否かを判定する。
 この判定処理は、例えば、先に説明した以下の判定処理として行われる。
 (判定処理)情報処理装置(受信装置30)の利用可能なリソース(データ処理能力、メモリ容量)が、HTML文書に記述されたスクリプトによるグラフィックデータの描画処理を実行する十分なリソースであるか否かを判定する。
 例えば、具体的には、HTML文書に記述されたスクリプトによる描画対象となるグラフィックデータのサイズ(大きさ)が、予め規定した規定サイズ以下であるような場合は、HTML文書に記述されたスクリプトによるグラフィックデータの描画処理の負荷は小さく、スクリプトを実行するに十分なリソースがあると判定し、解像度の低下処理を行なわない決定をすることができる。
 一方、HTML文書に記述されたスクリプトによる描画対象となるグラフィックデータのサイズが、予め規定した規定サイズより大きい場合は、HTML文書に記述されたスクリプトによるグラフィックデータの描画処理の負荷が大きく、スクリプトを実行するに十分なリソースがないと判定し、解像度の低下処理を行なうことを決定するといった処理を行なう。
 なお、前述したように、情報処理装置(受信装置30)の利用可能なリソース(データ処理能力、メモリ容量)は他のデータ処理実行状況に応じて変動しており、このその他のデータ処理の状況を考慮して判断することが好ましい、
 例えば、他のデータ処理負荷が大きいときは、上記の判定処理に適用する「規定サイズ」を小さく設定し、他のデータ処理負荷が小さいときは、上記の「規定サイズ」を大きく設定する等の対応が可能である。
 このように、ステップS212において、情報処理装置(受信装置30)のデータ処理部は、グラフィックデータの描画処理に際して、HTML文書のスクリプト記述に従った解像度を持つグラフィックデータでより、解像度を低下させたグラフィックイデータを描画する必要性があるか否かを判定する。
 解像度を低下させたグラフィックデータを描画する必要性がないと判定した場合は、ステップS221に進む。
 一方、解像度を低下させたグラフィックデータを描画する必要性があると判定した場合は、ステップS231に進む。
  (ステップS221)
 ステップS212において、解像度を低下させたグラフィックデータを描画する必要性がないと判定した場合は、ステップS221に進む。
 図5に示すアプリケーション実行部(スクリプト実行エンジン)221は、ステップS221において、スクリプトを実行する。アプリケーション実行部(スクリプト実行エンジン)221は、アプリ実行用ワークメモリ222をワークエリアとして利用してスクリプトを実行する。
 アプリケーション実行部(スクリプト実行エンジン)221は、HTML文書に記録されたスクリプトに従ったグラフィックデータの描画要求をグラフィックデータ描画処理部(グラフィックレンダラ)223に出力する。
 なお、ステップS221~S222においては、解像度の低下処理を行なわなずにスクリプトの記述に従った解像度を持つグラフィックデータの描画処理を行う。
  (ステップS222)
 ステップS222において、図5に示すグラフィックデータ描画処理部(グラフィックレンダラ)223が、アプリケーション実行部(スクリプト実行エンジン)221の処理要求に従って、グラフィックデータを、グラフィックデータ描画メモリ224に記録する。すなわち、グラフィックデータ描画メモリ224にグラフィック描画プレーンを生成する。
 なお、前述したように、このステップS221~S222においては、解像度の低下処理を行なわなずにスクリプトの記述に従った解像度を持つグラフィックデータの描画処理を行う。
 グラフィックデータ描画メモリ224には、スクリプトの記述通りの高解像度のグラフィック描画プレーンが生成される。
  (ステップS231)
 次に、ステップS212において、解像度を低下させたグラフィックデータを描画する必要性があると判定した場合の処理であるステップS231~S233の処理について説明する。
 まず、ステップS231において、図5に示すアプリケーション実行部(スクリプト実行エンジン)221がスクリプトを実行する。アプリケーション実行部(スクリプト実行エンジン)221は、アプリ実行用ワークメモリ222をワークエリアとして利用してスクリプトを実行する。
 アプリケーション実行部(スクリプト実行エンジン)221は、HTML文書に記録されたスクリプトに従ったグラフィックデータの描画要求をグラフィックデータ描画処理部(グラフィックレンダラ)223に出力する。
 なお、ステップS231~S233においては、スクリプトの記述に従った解像度よりも低い解像度のグラフィックデータの描画処理を行う。
 前述したように、HTML文書に記録されたスクリプトは、高解像度グラフィックデータの描画処理用のスクリプトであり、例えばグラフィックデータの描画領域等を指定する座標は、4Kや8K等の高解像度対応の座標系で表現されている。
 2K等の低解像度グラフィツクデータ(グラフィック描画プレーン)を生成するためには、HTML文書のスクリプトに記載された高解像度対応の座標指定情報を、低解像度対応の座標指定情報に変換して、グラフィックデータを描画する処理を行なうことが必要となる。
 先に説明したように、この座標系の変換処理は、図5に示すアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかで行う。
 例えば、図5に示すアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかにおいて、HTML文書に記録された高解像度グラフィックデータの描画処理用のスクリプトに記録された高解像度データ対応の座標データを低解像度データ対応の座標データに変換する処理を行なう。
 この変換後の座標データに従って描画処理を実行することで、グラフィックデータ描画メモリ224には、低解像度のグラフィックデータ(グラフィック描画プレーン)が記録される。
  (ステップS232)
 ステップS232において、図5に示すグラフィックデータ描画処理部(グラフィックレンダラ)223が、アプリケーション実行部(スクリプト実行エンジン)221の処理要求に従って、グラフィックデータを、グラフィックデータ描画メモリ224に記録する。すなわち、グラフィックデータ描画メモリ224にグラフィック描画プレーンを生成する。
 グラフィック描画処理部(グラフィックレンダラ)223は、HTML文書に記録されたスクリプトに従った高解像度のグラフィック描画プレーンを生成することなく、解像度を低下させたグラフィック描画プレーンを生成する。
 すなわち、HTML文書に記録されたスクリプトに従った4Kや8K等の高解像度グラフィック描画プレーンの生成を行わず、解像度を低下させた、例えば2K画像相当のグラフィック描画プレーンの生成処理を行なう。
 グラフィックデータ描画メモリ224に生成されるグラフィック描画プレーンは、HTML文書に記録されたスクリプトのオリジナルの解像度のグラフィックデータではなく、HTML文書に記録されたスクリプトのオリジナルの解像度より低い低解像度のグラフィックデータ(グラフィック描画プレーン)となる。
 なお、前述したように、HTML文書に記録されたスクリプトは、高解像度グラフィックデータの描画処理用のスクリプトであり、例えばグラフィックデータの描画領域等を指定する座標は、4Kや8K等の高解像度対応の座標系で表現されている。
 2K等の低解像度グラフィツクデータ(グラフィック描画プレーン)を生成するためには、HTML文書のスクリプトに記載された高解像度対応の座標指定情報を、低解像度対応の座標指定情報に変換して、グラフィックデータを描画する処理を行なうことが必要となる。
 先に説明したように、この座標系の変換処理は、図5に示すアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかで行う。
 例えば、図5に示すアプリケーション実行部221、または、グラフィックデータ描画処理部223のいずれかにおいて、HTML文書に記録された高解像度グラフィックデータの描画処理用のスクリプトに記録された高解像度データ対応の座標データを低解像度データ対応の座標データに変換する処理を行なう。
 この変換後の座標データに従って描画処理を実行することで、グラフィックデータ描画メモリ224には、低解像度のグラフィックデータ(グラフィック描画プレーン)が記録される。
  (ステップS233)
 次のステップS233の処理は、図5に示す画像変換部231の処理である。
 画像変換部231は、ステップS233において、グラフィックデータ描画メモリ224に格納された低解像度グラフィックデータの画像拡大処理を実行する。
 すなわち、グラフィックデータ描画メモリ224に格納された低解像度グラフィックデータを、HTML文書に記述されたスクリプトに従って生成される元の高解像度画像の表示態様に応じた大きさに変換する処理を実行する。
 例えば、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンが2K画像相当の画像データであり、HTML文書に記録されたスクリプトに従った高解像度のグラフィックデータが4K画像相当のグラフィックデータである場合、画像変換部231は、グラフィックデータ描画メモリ224に記録された低解像度のグラフィック描画プレーンを、縦方向サイズ、横方向サイズのそれぞれを2倍にする画像拡大処理を実行する。
 画像変換部231の実行する画像拡大処理により、グラフィック描画プレーンは、HTML文書のスクリプトに従って生成されたオリジナルの解像度のグラフィックデータの大きさと同一の大きさを持つグラフィックデータとなる。
  (ステップS241)
 ステップS221~S222における解像度の低下処理を伴わない高解像度グラフィックデータ(高解像度グラフィック描画プレーン)の描画処理、
 または、ステップS231~S233における解像度の低下処理による低解像度グラフィックデータ(低解像度グラフィック描画プレーン)の描画処理、
 これらいずれかの処理が完了すると、ステップS241の処理を実行する。
 ステップS241の処理は、図5に示す合成部232の実行する処理である。
 合成部232は、文字、画像データ描画メモリ205に格納された文字、静止画、動画各々に対応する表示部出力用データである描画プレーン、すなわち、
 文字描画プレーン211、
 静止画描画プレーン212、
 動画描画プレーン213、
 これらの各描画プレーンと、
 画像変換部231において拡大処理がなされたグラフィック描画プレーンとの合成処理を実行する。
 文字、画像データ描画メモリ205に格納された文字描画プレーン211、静止画描画プレーン212、動画描画プレーン213、これらの描画プレーンは、HTML文書の記述に従って生成された描画プレーンであり、高解像度、例えば4K、あるいは8K等の高解像度データである。
 一方、画像変換部231から入力するグラフィック描画プレーンは、
 ステップS221~S222の処理が実行されている場合は、HTML文書のスクリプト記述に従った高解像度のグラフィック描画プレーンである。
 また、ステップS231~S233の処理が実行されている場合は、HTML文書のスクリプト記述に従った高解像度のグラフィック描画プレーンではなく、解像度を低下させた低解像度のグラフィック描画プレーンの拡大データである。この場合、解像度は低いが、画像の大きさは、HTML文書に記録されたスクリプトを実行して得られるオリジナル解像度のグラフィック描画プレーンと同一の大きさを有する。
 合成部232は、文字、画像データ描画メモリ205に格納された文字、静止画、動画各々に対応する高解像度の、
 文字描画プレーン211、
 静止画描画プレーン212、
 動画描画プレーン213、
 これらの各描画プレーンと、
 ステップS221~S222の処理によって生成された高解像度グラフィック描画プレーン、
 または、ステップS231~S233の処理によって生成された拡大された低解像度のグラフィック描画プレーン、
 いずれかのグラフィック描画プレーンとの合成処理を実行する。
  (ステップS242)
 合成部232が、ステップS241における合成処理の結果として生成した合成画像は、ステップS242において、図5に示す表示用フレームバッファ233に格納され、表示部250に出力される。
 以上、説明したように、図12~図13に示すフローに従った処理は、グラフィックデータ描画処理に際して解像度低下処理の要否判定を実行して判定結果に応じた処理を行なう実施例である。
 受信装置30のリソースが十分である状況、例えば、グラフィックデータの描画処理に利用可能なリソースが十分であり、また、グラフィックデータの描画メモリの空き容量も十分である場合などにおいては、グラフィックデータの描画処理に際して解像度を低下させることなく、高解像度のグラフィックデータを描画し、リソースが不十分であると判定した場合にのみ、低解像度のグラフィックデータの描画を実行する。
 具体的はには、例えば、HTML文書に記述されたスクリプトに従って描画されるグラフィックデータのサイズに応じて、解像度の低下処理を実行するか否かを判定する。
 また、情報処理装置(受信装置30)のデータ処理状況に応じて変化するリソース状況を考慮した処理を行なうことが好ましい。
 これらの処理により、リソースが十分な場合には、表示部に出力するグラフィックデータを高解像度のまま出力することが可能となり、リソースが不十分な場合にのみ、解像度を低下させて出力するという選択的な処理が可能となる。
 いずれの場合も、スクリプトの実行によって生成されるグラフィックデータを含む合成画像の出力を遅延なく確実に実行することが可能となる。
  [7.情報処理装置の構成例について]
 次に、上述した処理を実行する情報処理装置(受信装置30)の装置構成例について、図14を参照して説明する。
 図14は、情報処理装置(受信装置30)として適用可能な通信装置のハードウェア構成例を示している。
 CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
 CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部506、ディスプレイ、スピーカなどよりなる出力部507が接続されている。CPU501は、入力部506から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部507に出力する。
 入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。
 入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
 なお、データの符号化あるいは復号は、データ処理部としてのCPU501の処理として実行可能であるが、符号化処理あるいは復号処理を実行するための専用ハードウェアとしてのコーデックを備えた構成としてもよい。
  [8.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
 前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
 前記グラフィック描画データ生成部は、スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、
 前記合成部は、前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成する情報処理装置。
 (2) 前記グラフィック描画データ生成部は、生成した低解像度グラフィックデータを、グラフィックデータ描画メモリに格納し、
 画像変換部が、前記グラフィックデータ描画メモリに格納された低解像度グラフィックデータを、前記スクリプトの記述に従った解像度相当の高解像度グラフィックデータのサイズに一致させるデータ拡大処理を実行し、
 前記合成部は、前記画像変換部によって拡大された低解像度グラフィックデータを用いて表示部出力用の合成画像を生成する(1)に記載の情報処理装置。
 (3) 前記グラフィック描画データ生成部は、
 HTML(Hyper Text Markup Language)文書内に記述されたスクリプトに従ったグラフィックデータの生成処理を実行する(1)または(2)に記載の情報処理装置。
 (4) 前記グラフィック描画データ生成部は、
 前記スクリプトに記述された高解像度対応の座標系を低解像度対応の座標系に変換して、前記低解像度グラフィックデータを生成する(1)~(3)いずれかに記載の情報処理装置。
 (5) 前記グラフィック描画データ生成部は、
 ブラウザ上に2次元(2D)グラフィックデータを描画するスクリプトの仕様である「canvas」に従った高解像度対応の座標データ、あるいはブラウザ上に3次元(3D)グラフィックデータを描画するスクリプトの仕様である「WebGL」に従った高解像度対応の座標データを低解像度対応の座標データに変換して、前記低解像度グラフィックデータを生成する(1)~(4)いずれかに記載の情報処理装置。
 (6) 前記グラフィック描画データ生成部は、
 スクリプトの記述に従った描画命令を出力するアプリケーション実行部と、
 前記アプリケーション実行部の出力する描画命令に従った描画処理を実行するグラフィックデータ描画処理部を有する(1)~(5)いずれかに記載の情報処理装置。
 (7) 前記アプリケーション実行部、または、前記グラフィックデータ描画処理部の少なくとも一方が、前記スクリプトに記述された高解像度対応の座標系を低解像度対応の座標系に変換する処理を実行する(6)に記載の情報処理装置。
 (8) 前記情報処理装置は、
 HTML(Hyper Text Markup Language)文書内に記述されたスタイルシートに従ったレイアウト決定を行うレイアウト処理部を有し、
 前記合成部は、前記レイアウト処理部の決定したレイアウトに従って生成された複数の異なる描画プレーンの合成処理を実行する(1)~(7)いずれかに記載の情報処理装置。
 (9) 前記グラフィック描画データ生成部は、
 ブラウザ上に表示するグラフィックデータの生成処理を実行する(1)~(8)いずれかに記載の情報処理装置。
 (10) 前記合成部は、
 ブラウザ上に表示する合成画像の生成処理を実行する(1)~(9)いずれかに記載の情報処理装置。
 (11) 前記グラフィック描画データ生成部は、
 前記情報処理装置の利用可能なリソースが、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースであるか否かを判定し、
 利用可能リソースが十分なリソースであると判定した場合は、前記スクリプトの記述に従った高解像度グラフィックデータを生成し、
 利用可能リソースが十分なリソースでないと判定した場合には、前記スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成する(1)~(10)いずれかに記載の情報処理装置。
 (12) 前記グラフィック描画データ生成部は、
 前記スクリプトの記述に従って生成するグラフィックデータのサイズに応じて、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースを利用可能か否かの判定処理を実行する(11)に記載の情報処理装置。
 (13) 前記グラフィック描画データ生成部は、
 前記情報処理装置のリソース利用状況に応じて、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースを利用可能か否かの判定処理を実行する(11)または(12)に記載の情報処理装置。
 (14) 前記情報処理装置は、
 送信装置から受信したHTML(Hyper Text Markup Language)文書の解析処理を実行するHTML文書処理部を有し、
 前記グラフィック描画データ生成部は、
 前記HTML文書処理部において解析されたHTML文書に含まれるスクリプトを実行する(1)~(13)いずれかに記載の情報処理装置。
 (15) 情報処理装置において実行する情報処理方法であり、
 前記情報処理装置は、
 グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
 前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
 前記グラフィック描画データ生成部が、
 スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、
 前記合成部は、
 前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成する情報処理方法。
 (16) 情報処理装置において情報処理を実行させるプログラムであり、
 前記情報処理装置は、
 グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
 前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
 前記プログラムは、
 前記グラフィック描画データ生成部に、
 スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成させ、
 前記合成部に、
 前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成させるプログラム。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、高解像度の画像データに、スクリプトに従って生成した低解像度グラフィックデータを合成して表示する構成が実現される。
 具体的には、グラフィック描画データ生成部が、HTML文書内に記述されたスクリプトに従ってグラフィックデータの生成処理を行なう際、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成して描画メモリに格納する。画像変換部が、描画メモリ内の低解像度グラフィックデータを拡大して高解像度グフィックデータと同一のサイズに変換した後、その他の高解像度画像データ等と合成して出力する。
 本構成により、高解像度の画像データに、スクリプトに従って生成した低解像度グラフィックデータを合成して表示する構成が実現される。
  10 通信システム
  20 送信装置
  21 放送サーバ
  22 広告サーバ
  23 データ配信サーバ
  30 受信装置
  31 TV
  32 PC
  33 携帯端末
  50 出力画像
 101 文字、画像描画メモリ
 102 アプリケーション実行部
 103 グラフィックデータ描画メモリ
 104 合成出力部
 201 HTML文書処理部
 202 レイアウト処理部
 203 レイアウト処理用メモリ
 204 メディアデータ描画処理部(メディアレンダラ)
 205 文字、画像データ描画メモリ
 211 文字描画プレーン
 212 静止画描画プレーン
 213 動画描画プレーン
 220 グラフィック描画データ生成部
 221 アプリケーション実行部(スクリプト実行エンジン)
 222 アプリ実行用ワークメモリ
 223 グラフィックデータ描画処理部(グラフィックレンダラ)
 224 グラフィックデータ描画メモリ(グラフィック描画プレーン)
 231 画像本管部
 232 合成部
 233 表示用フレームバッファ
 250 表示部
 301 スタイルシート
 302 スクリプト
 303 ボディ
 501 CPU
 502 ROM
 503 RAM
 504 バス
 505 入出力インタフェース
 506 入力部
 507 出力部
 508 記憶部
 509 通信部
 510 ドライブ
 511 リムーバブルメディア

Claims (16)

  1.  グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
     前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
     前記グラフィック描画データ生成部は、スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、
     前記合成部は、前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成する情報処理装置。
  2.  前記グラフィック描画データ生成部は、生成した低解像度グラフィックデータを、グラフィックデータ描画メモリに格納し、
     画像変換部が、前記グラフィックデータ描画メモリに格納された低解像度グラフィックデータを、前記スクリプトの記述に従った解像度相当の高解像度グラフィックデータのサイズに一致させるデータ拡大処理を実行し、
     前記合成部は、前記画像変換部によって拡大された低解像度グラフィックデータを用いて表示部出力用の合成画像を生成する請求項1に記載の情報処理装置。
  3.  前記グラフィック描画データ生成部は、
     HTML(Hyper Text Markup Language)文書内に記述されたスクリプトに従ったグラフィックデータの生成処理を実行する請求項1に記載の情報処理装置。
  4.  前記グラフィック描画データ生成部は、
     前記スクリプトに記述された高解像度対応の座標系を低解像度対応の座標系に変換して、前記低解像度グラフィックデータを生成する請求項1に記載の情報処理装置。
  5.  前記グラフィック描画データ生成部は、
     ブラウザ上に2次元(2D)グラフィックデータを描画するスクリプトの仕様である「canvas」に従った高解像度対応の座標データ、あるいはブラウザ上に3次元(3D)グラフィックデータを描画するスクリプトの仕様である「WebGL」に従った高解像度対応の座標データを低解像度対応の座標データに変換して、前記低解像度グラフィックデータを生成する請求項1に記載の情報処理装置。
  6.  前記グラフィック描画データ生成部は、
     スクリプトの記述に従った描画命令を出力するアプリケーション実行部と、
     前記アプリケーション実行部の出力する描画命令に従った描画処理を実行するグラフィックデータ描画処理部を有する請求項1に記載の情報処理装置。
  7.  前記アプリケーション実行部、または、前記グラフィックデータ描画処理部の少なくとも一方が、前記スクリプトに記述された高解像度対応の座標系を低解像度対応の座標系に変換する処理を実行する請求項6に記載の情報処理装置。
  8.  前記情報処理装置は、
     HTML(Hyper Text Markup Language)文書内に記述されたスタイルシートに従ったレイアウト決定を行うレイアウト処理部を有し、
     前記合成部は、前記レイアウト処理部の決定したレイアウトに従って生成された複数の異なる描画プレーンの合成処理を実行する請求項1に記載の情報処理装置。
  9.  前記グラフィック描画データ生成部は、
     ブラウザ上に表示するグラフィックデータの生成処理を実行する請求項1に記載の情報処理装置。
  10.  前記合成部は、
     ブラウザ上に表示する合成画像の生成処理を実行する請求項1に記載の情報処理装置。
  11.  前記グラフィック描画データ生成部は、
     前記情報処理装置の利用可能なリソースが、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースであるか否かを判定し、
     利用可能リソースが十分なリソースであると判定した場合は、前記スクリプトの記述に従った高解像度グラフィックデータを生成し、
     利用可能リソースが十分なリソースでないと判定した場合には、前記スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成する請求項1に記載の情報処理装置。
  12.  前記グラフィック描画データ生成部は、
     前記スクリプトの記述に従って生成するグラフィックデータのサイズに応じて、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースを利用可能か否かの判定処理を実行する請求項11に記載の情報処理装置。
  13.  前記グラフィック描画データ生成部は、
     前記情報処理装置のリソース利用状況に応じて、前記スクリプトの記述に従った高解像度グラフィックデータの生成に十分なリソースを利用可能か否かの判定処理を実行する請求項11に記載の情報処理装置。
  14.  前記情報処理装置は、
     送信装置から受信したHTML(Hyper Text Markup Language)文書の解析処理を実行するHTML文書処理部を有し、
     前記グラフィック描画データ生成部は、
     前記HTML文書処理部において解析されたHTML文書に含まれるスクリプトを実行する請求項1に記載の情報処理装置。
  15.  情報処理装置において実行する情報処理方法であり、
     前記情報処理装置は、
     グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
     前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
     前記グラフィック描画データ生成部が、
     スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成し、
     前記合成部は、
     前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成する情報処理方法。
  16.  情報処理装置において情報処理を実行させるプログラムであり、
     前記情報処理装置は、
     グラフィックデータの生成処理を実行するグラフィック描画データ生成部と、
     前記グラフィック描画データ生成部の生成したグラフィックデータと画像データを合成して表示部出力用の合成画像を生成する合成部を有し、
     前記プログラムは、
     前記グラフィック描画データ生成部に、
     スクリプトに従ったグラフィックデータの生成処理に際し、スクリプトの記述に従った解像度より低い解像度を持つ低解像度グラフィックデータを生成させ、
     前記合成部に、
     前記低解像度グラフィックデータの拡大データを用いて表示部出力用の合成画像を生成させるプログラム。
PCT/JP2016/079518 2015-10-09 2016-10-04 情報処理装置、および情報処理方法、並びにプログラム WO2017061434A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16853588.8A EP3361739A4 (en) 2015-10-09 2016-10-04 Information processing apparatus, information processing method, and program
JP2017544509A JP6891811B2 (ja) 2015-10-09 2016-10-04 情報処理装置、および情報処理方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-201101 2015-10-09
JP2015201101 2015-10-09

Publications (1)

Publication Number Publication Date
WO2017061434A1 true WO2017061434A1 (ja) 2017-04-13

Family

ID=58487726

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/079518 WO2017061434A1 (ja) 2015-10-09 2016-10-04 情報処理装置、および情報処理方法、並びにプログラム

Country Status (3)

Country Link
EP (1) EP3361739A4 (ja)
JP (1) JP6891811B2 (ja)
WO (1) WO2017061434A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112433261A (zh) * 2020-11-25 2021-03-02 猫岐智能科技(上海)有限公司 扫描成像监测系统及方法以及电动车入梯扫描成像监测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006059661A1 (ja) * 2004-12-01 2006-06-08 Matsushita Electric Industrial Co., Ltd. 再生装置、画像合成方法、画像合成プログラム及び集積回路
JP2007057586A (ja) * 2005-08-22 2007-03-08 Sony Corp 画像処理装置、画像処理方法及びテレビ受信機
JP2010032801A (ja) * 2008-07-29 2010-02-12 Canon Inc 表示装置、表示制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006059661A1 (ja) * 2004-12-01 2006-06-08 Matsushita Electric Industrial Co., Ltd. 再生装置、画像合成方法、画像合成プログラム及び集積回路
JP2007057586A (ja) * 2005-08-22 2007-03-08 Sony Corp 画像処理装置、画像処理方法及びテレビ受信機
JP2010032801A (ja) * 2008-07-29 2010-02-12 Canon Inc 表示装置、表示制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3361739A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112433261A (zh) * 2020-11-25 2021-03-02 猫岐智能科技(上海)有限公司 扫描成像监测系统及方法以及电动车入梯扫描成像监测系统

Also Published As

Publication number Publication date
EP3361739A1 (en) 2018-08-15
JP6891811B2 (ja) 2021-06-18
JPWO2017061434A1 (ja) 2018-07-26
EP3361739A4 (en) 2018-08-15

Similar Documents

Publication Publication Date Title
US10777231B2 (en) Embedding thumbnail information into video streams
US9870801B2 (en) Systems and methods for encoding multimedia content
CN107209693B (zh) 缓冲器优化
US9836437B2 (en) Screencasting for multi-screen applications
US11537777B2 (en) Server for providing a graphical user interface to a client and a client
TWI479332B (zh) 視訊播放系統中的選擇性硬體加速
CN109963191A (zh) 一种视频信息的处理方法、装置及存储介质
CN112235604B (zh) 渲染方法及装置、计算机可读存储介质、电子设备
US8358363B2 (en) Video-processing apparatus, method and system
US20140010289A1 (en) Video stream
CN107179920B (zh) 网络引擎启动方法及装置
CN109327698B (zh) 动态预览图的生成方法、系统、介质和电子设备
JP2014090388A (ja) 放送受信装置、及び方法
EP3764216B1 (en) Display device and control method thereof
CN111212293A (zh) 一种图像处理方法及显示设备
WO2017061434A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
EP1528512A2 (en) Graphic decoder, image reproduction apparatus and method for graphic display acceleration based on commands
JP2017005544A (ja) 画像情報処理方法
KR20050040712A (ko) 명령어 기반 그래픽 출력 가속 기능이 포함된 2차원그래픽 디코더, 그 그래픽 출력 가속 방법 및 영상 재생장치
CN114642002B (zh) 显示装置及其操作方法
EP2693426A1 (en) Display apparatus, image post-processing apparatus and method for image post-processing of contents
KR102247892B1 (ko) 클라우드 스트리밍 서비스 시스템, 어플리케이션 코드를 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
KR20180039730A (ko) 그래픽 커맨드 토큰들의 수정
CN112995711A (zh) 一种web前端视频的分帧与图片处理合成方法及系统
JP2010283530A (ja) 映像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16853588

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017544509

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016853588

Country of ref document: EP