WO2020195169A1 - 画像処理装置、画像処理方法、表示装置 - Google Patents

画像処理装置、画像処理方法、表示装置 Download PDF

Info

Publication number
WO2020195169A1
WO2020195169A1 PCT/JP2020/003883 JP2020003883W WO2020195169A1 WO 2020195169 A1 WO2020195169 A1 WO 2020195169A1 JP 2020003883 W JP2020003883 W JP 2020003883W WO 2020195169 A1 WO2020195169 A1 WO 2020195169A1
Authority
WO
WIPO (PCT)
Prior art keywords
subtitle
image
area
information
charge
Prior art date
Application number
PCT/JP2020/003883
Other languages
English (en)
French (fr)
Inventor
洸 鎌田
朗史 三嶋
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/439,196 priority Critical patent/US20220159346A1/en
Priority to CN202080022488.1A priority patent/CN113597640A/zh
Priority to EP20778879.5A priority patent/EP3951767A4/en
Publication of WO2020195169A1 publication Critical patent/WO2020195169A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/109Font handling; Temporal or kinetic typography
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42653Internal components of the client ; Characteristics thereof for processing graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4356Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen by altering the spatial resolution, e.g. to reformat additional data on a handheld device, attached to the STB
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/02Composition of display devices
    • G09G2300/026Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data

Definitions

  • This technology relates to an image processing device, an image processing method, and a display device, and particularly to a technical field of subtitle display when an image for each of a plurality of display areas is supplied to display the entire image.
  • each image signal in a state where one image is divided into a plurality of areas is generated by a plurality of servers and supplied to a display panel, for example, to perform a large screen display in which they are connected.
  • a display panel for example, to perform a large screen display in which they are connected.
  • the image processing device renders subtitles at the resolution of the entire image of the display panel based on the subtitle information acquisition unit that acquires the subtitle information and the subtitle information acquired by the subtitle information acquisition unit, and the display panel displays the subtitles.
  • a subtitle processing unit that generates a subtitle image of a region in charge of a plurality of divided display areas, an image generation unit that generates an image signal of the area in charge, a subtitle image generated by the subtitle processing unit, and the above. It includes a compositing unit that synthesizes the image signals generated by the image generation unit in charge to generate an image signal with subtitles.
  • the display panel is divided into, for example, a plurality of display areas, and each area displays based on an image signal from an image processing device (server) in charge of each.
  • an image processing device server
  • the display panel that displays a large screen in which four display areas are arranged vertically and horizontally by four image processing devices.
  • the image processing device having the above configuration can be applied as an image processing device corresponding to the one display area.
  • the subtitle information acquisition unit acquires subtitle information common to the subtitle information acquisition unit of the image processing apparatus in charge of another display area. For example, assuming a system in which image signals are supplied to each of the four display areas of the display panel by four image processing devices, common subtitle information is supplied to the four image processing devices.
  • the subtitle information acquisition unit is a subtitle file containing text data of a subtitle character string, subtitle position information, and font size information as the subtitle information, and displays other subtitles. It is conceivable to acquire a subtitle file having the same content as the subtitle information acquisition unit of the image processing device in charge of the area. That is, a common subtitle file having the same content as the text data of the subtitle character string, the subtitle position information, and the font information is supplied to each image processing device.
  • the subtitle processing unit renders the subtitle using the storage area corresponding to the resolution of the entire image of the display panel, and generates the subtitle image by cutting out the area in charge. It is conceivable to do. Assuming a system that supplies an image signal to each of the four display areas of the display panel, for example, a storage area corresponding to the entire four display areas is prepared and rendering is performed.
  • the subtitle processing unit may determine the subtitle portion in the area in charge and render the subtitle portion at the resolution of the entire image to generate the subtitle image. Conceivable. Assuming a system in which an image processing device corresponding to each of a plurality of display areas of a display panel supplies an image signal, each image processing device can determine the subtitle portion included in the display area in charge of itself. , The subtitle part may be rendered to generate a subtitle image.
  • the subtitle part in the area in charge means a part of the character string or the like constituting the subtitle that is displayed in the area in charge.
  • the subtitle processing unit has a subtitle start point at the resolution of the entire image of the display panel, a font size at the resolution of the entire image of the display panel, and subtitles within the area in charge. It is conceivable to render the image size for the area in charge by using the information of the start position and the subtitle portion in the area in charge. From the subtitle start point and font size at the resolution of the entire image, the arrangement of each character that constitutes the entire subtitle can be determined. This makes it possible to determine the subtitle start position and the subtitle portion in the area in charge.
  • the subtitle information acquisition unit acquires a subtitle file including font size information as the subtitle information, and also acquires information on the resolution of the entire image of the display panel. It is conceivable that the subtitle processing unit determines the font size of the subtitle according to the resolution of the entire image of the display panel by using the information of the resolution of the entire image of the display panel and the information of the font size of the subtitle file. That is, the font size of the subtitle corresponding to the resolution of the entire image is calculated.
  • the subtitle information acquisition unit acquires the subtitle file including the text data of the subtitle character string, the subtitle position information, and the font size information as the subtitle information, and also obtains the display panel.
  • the information on the resolution of the entire image and the information on the area in charge are acquired, and the subtitle processing unit uses the information on the resolution of the entire image on the display panel, the information on the area in charge, and the subtitle position information of the subtitle file.
  • the subtitle processing unit obtains the size of each character constituting the subtitle, and renders the subtitle portion in the subtitle area from the subtitle start position in the subtitle area. It is conceivable to generate a subtitle image. By knowing the character size and the start position of the subtitle, it is possible to render the subtitle in the area in charge.
  • the image processing apparatus includes an output unit that outputs an image signal with subtitles for the area in charge generated by the synthesis unit to a display device having a display panel. That is, the image processing device supplies the subtitled image signal obtained by synthesizing the subtitles to the display device having the display panel, and displays the subtitled image signal for its own charge.
  • the responsible image generation unit acquires an image signal of the image content to be displayed on the entire display panel, cuts out an image of the responsible area as a part thereof, and enlarges the image.
  • the responsible image generation unit acquires an image signal of only the responsible area of the image contents displayed on the entire display panel and enlarges the image signal to obtain the responsible area. It is conceivable to generate an image signal of the image content of the minute. That is, when the image signal of the area in charge that is a part of the image signal of the content to be displayed on the entire display panel is supplied, the image signal of the area in charge of itself is generated by enlarging it.
  • the image processing method acquires subtitle information, renders the subtitle at the resolution of the entire image of the display panel based on the acquired subtitle information, and out of a plurality of display areas divided in the display panel.
  • This is an image processing method in which a subtitle image of a responsible area is generated, an image signal of the responsible area is generated, and the image signal of the responsible area and a subtitle image of the responsible area are combined to generate an image signal with subtitles.
  • an image signal with subtitles is generated by synthesizing the subtitle images rendered at the resolution level of the display panel.
  • the display device is divided into a plurality of display areas, and an image signal with subtitles is supplied to each display area from a plurality of image processing devices in which one display area is assigned as a responsible area. It has a display panel that is designed to display images.
  • the image processing device in this case has the above-described configuration.
  • FIG. 1 is a block diagram showing a display system configuration example of the embodiment.
  • This display system includes an image source 1, a plurality of servers 2 (for example, servers 2A, 2B, 2C, 2D), a display device 3, and a controller 4.
  • the notation "server 2" is used when the servers 2A, 2B, 2C, and 2D are collectively referred to without any particular distinction.
  • the image source 1 indicates a part that supplies the image signal to be displayed and the subtitle information associated therewith to the server 2.
  • a storage device that stores an image signal as a moving image or a still image is a specific example.
  • a device for receiving image data transmitted by wire or wirelessly from an external device is also an example of the image source 1.
  • a playback device that reads an image signal from a storage medium such as a memory card, an optical disk, or a magnetic tape, an HDD (Hard Disk Drive), or the like is also an example of the image source 1.
  • the image source 1 supplies the server 2 with an image file FL0 including an image signal as a moving image or a still image. Further, the image source 1 supplies the subtitle file FL1 and the font file FL2 as subtitle information to each server 2. The contents of the subtitle file FL1 and the font file FL2 will be described later.
  • Each of the servers 2A, 2B, 2C, and 2D is a device that decodes the information of the image file FL0, generates a reproduced image, and supplies the reproduced image to the display device 3, that is, a player.
  • the display device 3 that is, a player.
  • each of the servers 2A, 2B, 2C, and 2D is the same device, and each is a 4K compatible player. That is, each of the servers 2A, 2B, 2C, and 2D supplies an image signal as a 4K image to the display device 3.
  • the display device 3 has a display panel 3a, and performs a process of synthesizing image signals from the servers 2A, 2B, 2C, and 2D and displaying them on the display panel 3a.
  • the display panel 3a one provided with a display area having a resolution of 8K4K is illustrated.
  • the display panel 3a is divided into 4K2K display areas AR1, AR2, AR3, and AR4, and the respective display areas AR1, AR2, AR3, and AR4 are assigned to the servers 2A, 2B, 2C, and 2D.
  • the server 2A has the display area AR1 as the area in charge, generates an image signal to be displayed in the display area AR1, and supplies the image signal to the display device 3.
  • the server 2B has the display area AR2 as the area in charge, generates an image signal to be displayed in the display area AR2, and supplies the image signal to the display device 3.
  • the server 2C has the display area AR3 as the area in charge, generates an image signal to be displayed in the display area AR3, and supplies the image signal to the display device 3.
  • the server 2D has the display area AR4 as the area in charge, generates an image signal to be displayed in the display area AR4, and supplies the image signal to the display device 3.
  • the display device 3 displays the image signals of the respective areas in charge from the servers 2A, 2B, 2C, and 2D in the respective display areas AR1, AR2, AR3, and AR4 in this way, so that the resolution is, for example, 8K4K. Realizes a large screen display by. In other words, since the display area in charge of one server 2 is 4K2K size, a 4K compatible player can be used as each server 2.
  • the display panel 3a is set to 8K4K as an example.
  • FIG. 2 shows an example in which 16 servers 2 also compatible with 4K are used to execute display by the display panel 3a of 16K8K.
  • a required number of servers 2 which are 4K compatible players it is possible to construct a display system corresponding to display panels 3a of various sizes.
  • two servers 2 can be used to construct a display system having a 4K4K display panel and an 8K2K display panel in the horizontal-vertical direction.
  • four servers 2 it is possible to construct a display system having a display panel of 4K8K or 16K2K in addition to the 8K4K shown in the figure.
  • a display system having a 4K6K display panel and a 12K2K display panel can be constructed by using six servers 2. Further, for example, a display system having a 12K6K display panel can be constructed by using nine servers 2. In addition to this, various display systems are assumed.
  • the controller 4 is composed of, for example, a computer device including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a flash memory, and the like.
  • the controller 4 is made communicable with the server 2, and supplies, for example, system setting information CI to each server 2.
  • system setting information CI as one of the subtitle information used for subtitle generation in the server 2, the area in charge indicating the entire image information CI1 of the display panel 3a and the area in charge of each server 2A, 2B, 2C, 2D.
  • Information CI2 is assumed.
  • the overall image information CI1 is information on the entire resolution (image size) of the entire display panel 3a, that is, the entire display areas AR1, AR2, AR3, and AR4.
  • the display system can be configured without providing the controller 4.
  • a function corresponding to the controller 4 may be built in each server 2, and setting information (for example, overall image information CI1 and area in charge information CI2) by the controller 4 may be stored in each server 2A, 2B, 2C, 2D by an operator or the like. It may be input to.
  • Server configuration> A configuration example of the server 2 is shown in FIG.
  • the server 2 has a subtitle information acquisition unit 11, a subtitle processing unit 12, an image acquisition unit 21, a responsible image generation unit 22, a composition unit 30, and an output unit 31.
  • the subtitle information acquisition unit 11 acquires the subtitle file FL1 and the font file FL2 from the image source 1, decodes the file contents, and delivers the file contents to the subtitle processing unit 12. Further, the subtitle information acquisition unit 11 acquires, for example, the entire image information CI1 and the area in charge information CI2 from the controller 4 and delivers them to the subtitle processing unit 12.
  • the overall image information CI1 and the area in charge information CI2 may be set and input to the server 2 by the operator at the time of system construction or the like, not from the controller 4 as described above.
  • the subtitle processing unit 12 determines the resolution of the entire image of the display panel 3a (for example, 8K4K) based on the subtitle information (subtitle file FL1, font file FL2, overall image information CI1, responsible area information CI2) acquired by the subtitle information acquisition unit 11.
  • the subtitles are rendered, and the subtitle image TBM of the area in charge of the plurality of display areas AR1, AR2, AR3, and AR4 divided on the display panel 3a is generated. Specific examples will be described later.
  • the image acquisition unit 21 acquires the image file FL0 from the image source 1, decodes the content included in the image file FL0, that is, the image data (or still image data) of each frame as a moving image, and is in charge of the image generation unit. Hand over to 22.
  • the responsible image generation unit 22 performs a process of generating an image signal VD of its own responsible area among the display areas AR1, AR2, AR3, and AR4 of the display panel 3a. For example, when the image acquisition unit 21 acquires an image signal of the image content to be displayed on the entire display panel 3a, the responsible image generation unit 22 cuts out and enlarges an image of the responsible area, which is a part of the image signal, to obtain the responsible area. Generates an image signal of the minute image content. Alternatively, for example, when the image acquisition unit 21 acquires an image signal of the image content of only the area in charge of the image content displayed on the entire display panel 3a, the image generation unit 22 is in charge of the image by enlarging the image. Generates an image signal of the image content for the area. Of course, it is also assumed that an image signal of the image content for the area in charge is generated by a method other than these.
  • the compositing unit 30 synthesizes the subtitle image generated by the subtitle processing unit 12 and the image signal generated by the responsible image generation unit 22 to generate an image signal VDt with subtitles.
  • the output unit 31 outputs the subtitled image signal VDt for the area in charge generated by the synthesis unit 30 to the display device 3.
  • the output unit 31 of each server 2A, 2B, 2C, 2D supplies the subtitled image signal VDt of each area in charge to the display device 3, so that a large screen display in which they are arranged vertically and horizontally is displayed on the display panel 3a. Is executed in.
  • FIG. 4 shows an example in which an image signal as a 4K material is displayed in 8K on an 8K4K display panel 3a using four 4K-compatible servers 2.
  • the image source 1 supplies each server 2A, 2B, 2C, and 2D with an image file FL0 containing an image signal of 4K2K.
  • the image acquisition unit 21 of each server 2 acquires and decodes this image file FL0.
  • the responsible image generation unit 22 cuts out and enlarges an image of its own responsible region (shaded portion in the figure) in the decoded image signal.
  • the image of the area in charge that has been cut out is 2K1K, and the image generation unit 22 in charge uses this as an image signal VD of its own area by enlarging it to a size of 4K2K.
  • Each server 2A, 2B, 2C, and 2D generates an image signal VD in which the image of the area in charge indicated by the shaded area is enlarged to 4K2K size, and supplies the image signal VD to the display device 3.
  • An 8K4K image is displayed by the display device 3 synthesizing them as images of the respective display areas AR1, AR2, AR3, and AR4 and displaying them on the display panel 3a.
  • FIG. 5 is also an example in which an image signal as a 4K material is displayed in 8K on an 8K4K display panel 3a using four 4K-compatible servers 2.
  • the image source 1 supplies each server 2A, 2B, 2C, and 2D with image files FL0A, FL0B, FL0C, and FL0D including images obtained by dividing a 4K2K image into 2K1K regions.
  • the image acquisition unit 21 of each server 2A, 2B, 2C, 2D acquires and decodes the corresponding image file FL0 (FL0A, FL0B, FL0C, FL0D), respectively.
  • the decoded image signal is a 2K1K image signal. Therefore, the responsible image generation unit 22 expands this to a 4K2K size to obtain an image signal VD of its own responsible area.
  • Each server 2A, 2B, 2C, 2D generates an image signal VD of the area in charge expanded to 4K2K size in this way and supplies it to the display device 3.
  • An 8K4K image is displayed by the display device 3 synthesizing them as images of the respective display areas AR1, AR2, AR3, and AR4 and displaying them on the display panel 3a.
  • FIG. 6 is an example in which an image signal originally made of 8K material is displayed in 8K on an 8K4K display panel 3a using four 4K-compatible servers 2.
  • the image source 1 supplies each server 2A, 2B, 2C, and 2D with image files FL0A, FL0B, FL0C, and FL0D including an image obtained by dividing an 8K4K image into 4K2K regions.
  • the image acquisition unit 21 of each server 2A, 2B, 2C, 2D acquires and decodes the corresponding image file FL0 (FL0A, FL0B, FL0C, FL0D), respectively.
  • the decoded image signal is already a 4K2K image signal. Therefore, the responsible image generation unit 22 uses this as the image signal VD of its own responsible area.
  • Each server 2A, 2B, 2C, 2D supplies the image signal VD of the area in charge of the 4K2K size to the display device 3 in this way.
  • An 8K4K image is displayed by the display device 3 synthesizing them as images of the respective display areas AR1, AR2, AR3, and AR4 and displaying them on the display panel 3a.
  • FIG. 7A shows a group of files as a package supplied from the image source 1 to the server 2. That is, the image file FL0, the subtitle file FL1, and the font file FL2.
  • the server 2 performs the subtitle processing so that the subtitles are displayed on the image display.
  • the subtitle file FL1 and the font file FL2 are prepared as the subtitle information.
  • a PNG image may be supplied to the server 2 as a PNG (Portable Network Graphics) file, or a PNG file may be supplied to the server 2 together with the subtitle file FL1 and the font file FL2.
  • the subtitle file FL1 and the font file FL2 are used as an example.
  • the subtitle file FL1 is, for example, an XML (Extensible Markup Language) file, and its contents include ⁇ Text data (TX) -Vertical reference position (RP1), horizontal reference position (RP2) -Vertical offset (OF1), horizontal offset (OF2) -Font size (FTS) Is described.
  • the text data (TX) is text data of a character string that actually becomes a subtitle.
  • FIG. 7B illustrates subtitles of a character string as “abcde”.
  • the vertical reference position (RP1) is information indicating the vertical position as a reference for the subtitle position in the displayed image, and includes information such as "TOP" (top of the screen) or "BOTTOM” (bottom of the screen).
  • RP2 is information indicating the horizontal position as a reference for the subtitle position in the display image, and includes information such as "LEFT” (left edge of the screen) or "RIGHT” (right edge of the screen). Become.
  • the vertical offset (OF1) is information indicating the amount of vertical offset from the vertical reference position (RP1) as the subtitle start position in the display image, and is, for example, "80%" in the vertical (vertical) of the image. Expressed as a percentage of size.
  • the horizontal offset (OF2) is information indicating the amount of horizontal offset from the horizontal reference position (RP2) as the subtitle start position in the display image, and is, for example, "40%" as the horizontal (horizontal) of the image. Expressed as a percentage of size.
  • the font size (FTS) indicates the font size as a ratio to the display image size.
  • the upper part of FIG. 7B shows a subtitle image generated by subtitle processing using such a subtitle file FL1 and a font file FL2.
  • the subtitle of the character string "abcde” is arranged from the subtitle start position determined by the vertical reference position (RP1: TOP), the horizontal reference position (RP2: LEFT), the vertical offset (OF1), and the horizontal offset (OF2). It is an offset subtitle image.
  • the lower part of FIG. 7B shows an image in which subtitles are combined, which is decoded from the image file FL0. By synthesizing the images in the upper and lower rows of FIG. 7B, an image signal as a subtitle composite image is generated as shown in FIG. 7C.
  • the responsible image generation unit 22 generates the image signal VD corresponding to the image in the lower part of FIG. 7B
  • the subtitle processing unit 12 generates the subtitle image TBM corresponding to the image in the upper part of FIG. 7B.
  • an image signal VDt with subtitles is generated.
  • each server 2 corresponding to 4K temporarily reduces and renders to 4K2K size as shown in FIG. 8B.
  • the server 2 (for example, server 2C) in charge of the shaded portion HT3 in the image cuts out a 2K1K region of the shaded portion HT3 and enlarges it to a 4K2K size.
  • a subtitle image of the area in charge is generated as shown in FIG. 8C.
  • a 2K1K region of the shaded portion HT4 is cut out and expanded to a 4K2K size.
  • a subtitle image of the area in charge is generated as shown in FIG. 8D.
  • each server 2 If each server 2 generates the subtitle image in this way, synthesizes it with the image signal of the area in charge, and supplies it to the display device 3, each of the display areas AR1, AR2, AR3, and AR4 is combined with the plurality of servers 2A, 2B, and 2C. , Even if the system is in charge of 2D, subtitles can be displayed. However, in the case of this comparative example, the process of enlarging the subtitle image once reduced as shown in FIG. 8B is included. Therefore, the display quality of the characters constituting the subtitle is deteriorated. That is, the characters are displayed as angular (jagged). Therefore, as the present embodiment, subtitle processing such as the first, second, and third subtitle processing examples described below is performed.
  • a first subtitle processing example of the embodiment will be described with reference to FIG. This is an example in which the subtitle processing unit 12 renders a subtitle using a storage area (work memory) corresponding to the resolution of the entire image of the display panel 3a, and generates a subtitle image TBM by cutting out the area in charge. ..
  • the 4K compatible server 2 is provided with an 8K4K compatible work memory.
  • FIG. 9 schematically shows the processing of the subtitle processing unit 12 of the servers 2C and 2D.
  • the subtitle processing unit 12 Based on the subtitle information acquired by the subtitle information acquisition unit 11, the subtitle processing unit 12 renders the subtitle image and generates an 8K4K size subtitle image TBMr as shown in the figure.
  • the subtitle image TBMr is generated on the 8K4K size work memory.
  • the area in charge of himself / herself is cut out from the subtitle image TBMr. That is, in the case of the server 2C, the shaded area HT3, which is the area in charge, is cut out and used as the subtitle image TBM.
  • This subtitle image TBM has a 4K2K size.
  • the shaded area HT4 which is the area in charge, is cut out to obtain a 4K2K size subtitle image TBM.
  • the server 2A and 2B are not shown because the subtitles do not exist in the area in charge, but the subtitle image is obtained by cutting out the area in charge of the server 2A and 2B from the subtitle image TBMr rendered in 8K4K. Generate TBM.
  • the subtitle image TBM is generated in this way, combined with the image signal VD to generate the subtitled image signal VDt, and output to the display device 3.
  • an image with 8K4K size subtitles is displayed.
  • high-quality character display is performed.
  • FIG. 10 A second subtitle processing example of the embodiment will be described with reference to FIG. This is an example in which a dedicated subtitle file FL1 is prepared for each server 2A, 2B, 2C, and 2D.
  • the subtitle files FL1a, FL1b, FL1c, and FL1d are shown by the image of the subtitle image generated by the subtitle file.
  • the subtitle file FL1a is supplied to the server 2A
  • the subtitle file FL1b is supplied to the server 2B
  • the subtitle file FL1c is supplied to the server 2C
  • the subtitle file FL1d is supplied to the server 2D.
  • the subtitle processing unit 12 of each server 2A, 2B, 2C, 2D generates a subtitle image TBM corresponding to 8K4K resolution based on the supplied subtitle files FL1a, FL1b, FL1c, and FL1d, respectively.
  • the subtitle image TBM may be only the image of the subtitle portion (it does not have to be the image of the entire area in charge).
  • the subtitle image TBM is generated in this way, combined with the image signal VD to generate the subtitled image signal VDt, and output to the display device 3.
  • an image with 8K4K size subtitles is displayed.
  • high-quality character display is performed.
  • the subtitle part in the area in charge means a part of the character string or the like constituting the subtitle that is displayed in the area in charge.
  • each server 2 supports 4K, 8K4K worth of work memory is required, which increases the memory capacity burden.
  • each server 2 can generate the subtitle image TBM in the work memory for 4K2K, which is normally provided if it supports 4K.
  • a dedicated subtitle file FL1 must be prepared for each server 2, which increases the burden on the subtitle creator and depends on the resolution of the display panel 3a.
  • the subtitle file FL1 must be changed, which is disadvantageous in terms of system construction flexibility.
  • a common subtitle file FL1 may be provided to each server 2, and the subtitle file FL1 can be used regardless of the resolution change of the display panel 3a.
  • the subtitle information acquisition unit 11 acquires the subtitle file FL1 and the font file FL2. Further, the subtitle information acquisition unit 11 acquires the entire image information CI1 and the area in charge information CI2 of the display panel 3a supplied in advance from the controller 4, for example, by an operator operation or the like. Then, based on this information, the subtitle processing unit 12 performs subtitle processing as follows.
  • FIG. 11 schematically shows the processing of the server 2D in which the shaded area HT4 is in charge.
  • the subtitle processing unit 12 first determines the subtitle start position SP as shown in FIG. 11A. This is to obtain the position where the arrangement from the first character of the subtitle is started in the area of 8K4K as the resolution of the entire image of the display panel 3a.
  • the subtitle start position SP can be calculated from the vertical reference position RP1, the horizontal reference position RP2, the vertical offset OF1, and the horizontal offset OF2 in the subtitle file FL1.
  • the subtitle processing unit 12 calculates the distance from the subtitle start position SP to the area in charge of itself. As shown in the figure, in the case of the server 2D, the distance d1 from the subtitle start position SP to the left end of the shaded portion HT4.
  • the subtitle processing unit 12 calculates the size of each character of the subtitle, and determines the start position and the first character of the area in charge of itself.
  • An example of character size is shown in FIG. 11D.
  • the size of the character "a” is specified as horizontal x1, vertical y1
  • the size of the character "b” is horizontal x2, vertical y2
  • the size of the character "c” is horizontal x3, vertical y3. ..
  • the size of each character is specified in this way, the vertical and horizontal sizes of the entire character string can be specified.
  • spaces etc. may be included between the characters of the character string, the size of the character string is calculated including them.
  • the end position of the first character or the character string placed in the area in charge of itself can be determined. That is, the subtitle portion (the portion of the entire subtitle that is arranged in the assigned area) that is arranged in the assigned area can be determined. Further, the subtitle start position SPt in the area in charge of itself can be calculated from the subtitle start position SP and the distance d1.
  • FIG. 11B shows the case where the first character in the area in charge of the server 2D is "c" (to be exact, the right half of "c").
  • the subtitle processing unit 12 of the server 2D may generate a subtitle image including "cde” (however, "c” is only the right half). Therefore, as shown in FIG. 11E, the subtitle processing unit 12 of the server 2D renders in order from (a part of) the first character, and generates a subtitle image TBM as bitmap data of the character in the area in charge of itself.
  • FIG. 11C shows a state in which the subtitle image TBM, which is the bitmap data, is superimposed on the 8K4K size.
  • FIG. 12 shows the flow and relationship of each processing step. It can be considered that steps S101 to S107 of FIG. 12 are processing of the subtitle information acquisition unit 11, steps S110, S111, S120, S122, and S123 are processing of the subtitle processing unit 12, and step S124 is processing of the composition unit 30.
  • steps S101 to S107 of FIG. 12 are processing of the subtitle information acquisition unit 11
  • steps S110, S111, S120, S122, and S123 are processing of the subtitle processing unit 12
  • step S124 is processing of the composition unit 30.
  • the classification of such processing is an example.
  • Step S101 indicates that the subtitle information acquisition unit 11 acquires the information of the font size FTS described in the subtitle file FL1.
  • Step S102 indicates that the subtitle information acquisition unit 11 acquires the text data TX described in the subtitle file FL1, that is, the information of the character string of the subtitle.
  • Step S103 indicates that the subtitle information acquisition unit 11 acquires the subtitle position information. That is, the subtitle information acquisition unit 11 acquires the vertical reference position RP1, the horizontal reference position RP2, the vertical offset OF1, and the horizontal offset OF2 described in the subtitle file FL1.
  • Step S105 indicates that the subtitle information acquisition unit 11 acquires the information of the font file FL2.
  • Step S106 indicates that the subtitle information acquisition unit 11 acquires the entire image information CI1 of the image displayed on the display panel 3a and sets it as the information used for the subtitle processing.
  • Step S107 indicates that the subtitle information acquisition unit 11 acquires the area information CI2 in charge of the display panel 3a.
  • the subtitle processing unit 12 determines the font size of the subtitle in step S110. Since the font size FS in the subtitle file FL1 is described as a ratio to the resolution (image size) of the entire image, the actual font size is obtained by using the information of the overall image information CI1 and the font size FS.
  • step S111 the subtitle processing unit 12 creates bitmap data and size information of each character using the font size determined, the text data TX, and the information of the font file FL2.
  • step S120 the subtitle processing unit 12 determines the subtitle start position SP at the resolution of the entire image. This can be calculated from the overall image information CI1, the vertical reference position RP1, the horizontal reference position RP2, the vertical offset OF1, and the horizontal offset OF2.
  • step S122 the subtitle processing unit 12 calculates the subtitle start position SPt and the end position of the area in charge.
  • the subtitle processing unit 12 grasps its own area of responsibility at the resolution of the entire image as, for example, 8K4K, by the area of responsibility information CI2. Therefore, as described above, the subtitle start position SPt in the area in charge of itself can be calculated from the subtitle start position SP and the distance d1. Further, the subtitle processing unit 12 can calculate the subtitle end position in the area in charge by receiving the character string size, the subtitle start position SP, and the distance d1 obtained from the size of each character of the subtitle.
  • the subtitle processing unit 12 can determine the subtitle portion in the assigned area and the subtitle start position SPt in the assigned area. Therefore, in step S123, the subtitle processing unit 12 generates subtitle bitmap data for its own area based on the information in steps S122 and S111. Then, the subtitle bitmap data is supplied to the compositing unit 30 as a subtitle image TBM. In the synthesizing unit 30, the image signal VD and the subtitled image TBM are combined in step S124 and output as the subtitled image signal VDt.
  • Each server 2 generates the subtitle image TBM as described above, synthesizes it with the image signal VD to generate the subtitled image signal VDt, and outputs the subtitled image signal VDt to the display device 3 so that the display panel 3a has 8K4K size subtitles.
  • Image display is performed. In this case as well, since the subtitles are not enlarged as in the comparative example of FIG. 8, high-quality character display is performed.
  • the server 2 (image processing device) of the embodiment renders the subtitles at the resolution of the entire image of the display panel 3a based on the subtitle information acquisition unit 11 that acquires the subtitle information and the subtitle information acquired by the subtitle information acquisition unit 11.
  • a subtitle processing unit 12 that generates a subtitle image TBM of the area in charge of the plurality of display areas AR1, AR2, AR3, and AR4 divided by the display panel 3a is provided.
  • the server 2 combines the responsible image generation unit 22 that generates the image signal VD of the responsible area, the subtitle image TBM generated by the subtitle processing unit, and the image signal VD generated by the responsible image generation unit 22, and the subtitled image.
  • a synthesis unit 30 for generating a signal VDt is provided.
  • the subtitle image TBM (for example, subtitle bitmap data) renders the subtitle at the resolution of the entire image of the display panel 3a, and the character image quality corresponds to the resolution. For example, if the resolution of the entire image of the display panel 3a is 8K4K, the subtitle image has a quality of 8K4K level. Therefore, easy-to-read and high-quality subtitle display is realized.
  • the image unlike images, if the size is adjusted to the display screen by enlarging, the image will be angular (image with conspicuous jaggedness) and the quality of the characters will deteriorate, but according to the technique of the embodiment.
  • the technique of the embodiment can be used on a display panel 3a of 8K4K, for example, when one image is displayed by using a plurality of servers 2 (players) such as a large tiling display.
  • This is a subtitle processing method that can efficiently and beautifully describe characters in a case where four 4K compatible servers 2 are used for display.
  • the subtitle information acquisition unit 11 of the server 2 acquires the subtitle information common to the subtitle information acquisition unit 11 of the other server 2 in charge of the other display area. .. That is, common subtitle information (subtitle file FL1, font file FL2) is supplied from the image source 1 to each of the servers 2 (for example, servers 2A, 2B, 2C, 2D) used in plurality. In this case, the image production or the image provider side does not need to separately create the subtitle file FL1 and the font file FL2 corresponding to each server 2. Therefore, the time and effort for creating subtitle information does not become excessive. Further, since the subtitle information is common, the common subtitle information can be used by a system using 4 servers, a system using 9 servers, a system using 16 servers, and the like. As a result, the flexibility of the system configuration can be realized, and the trouble of creating the subtitle information according to the system configuration does not occur.
  • common subtitle information (subtitle file FL1, font file FL2) is supplied from the image source 1 to each of the servers 2 (for example, servers 2A, 2B, 2
  • the subtitle information acquisition unit 11 uses the text data TX of the subtitle character string and the subtitle position information (vertical reference position RP1 and horizontal reference position RP2 in the subtitle file FL1) as the subtitle information.
  • This is an example of acquiring a subtitle file having the same contents as the other server 2 as the subtitle file FL1 containing the information of the vertical offset OF1 and the horizontal offset OF2) and the font size FS.
  • the contents of the subtitle file FL1 specifically, the text data of the subtitle character string, the subtitle position information, and the font information are described with reference to the output image of the display panel 3a.
  • Each server 2 acquires a common subtitle file FL1 based on the resolution of the entire image of such a display panel, and by using this, the resolution of the entire image is used. You can render the subtitles of.
  • the subtitle processing unit 12 renders the subtitles using the storage area (work memory) corresponding to the resolution of the entire image of the display panel 3a, and cuts out the area in charge to cut out the subtitle image TBM.
  • Each of the plurality of used servers 2 (for example, servers 2A, 2B, 2C, 2D) renders subtitles using the work memory corresponding to the resolution (for example, 8K4K) of the entire image of the display panel 3a.
  • a subtitle image having a resolution level of 8K4K size can be generated, and the quality of subtitle display can be improved even in a server 2 compatible with 4K2K, for example.
  • the characters are not displayed in a square shape, and a beautiful character can be displayed.
  • the subtitle processing unit 12 determines a subtitle portion in the area in charge, renders the subtitle portion at the resolution of the entire image, and generates a subtitle image.
  • the server 2 can handle the work memory that exceeds its own area (for example, 4K2K) without requiring it, so that the load on the memory area of the server 2 can be reduced. Also in this case, since processing such as enlargement or reduction of characters is not included, the characters are not displayed in a square shape, and a high-quality character image can be generated. Moreover, the processing load can be reduced only by rendering the subtitle part arranged in the area in charge.
  • the determination of the subtitle portion in the area in charge and the subtitle start position SP and the like can be performed by a common calculation, and there is no need to change the software of the server 2 depending on the area in charge. Also, the same subtitle file can be used even if the resolution (screen size) of the displayed image changes.
  • the subtitle processing unit 12 determines the subtitle start point SP at the resolution of the entire image of the display panel 3a and the font size (font size determined in step S110) at the resolution of the entire image of the display panel.
  • An example of rendering the image size for the area in charge using the subtitle start position SPt in the area in charge and the information of the subtitle part in the area in charge has been given (see steps S111, S122, and S123).
  • the server 2 can render the subtitle image for the area in charge by determining the start position of the subtitle and the subtitle part (the part of the character string constituting the subtitle that is arranged in the area in charge) in the area in charge of the server 2. It becomes.
  • the subtitle information acquisition unit 11 acquires the subtitle file FL1 including the font size FS, and also acquires the entire image information CI1 of the display panel 3a. Then, the subtitle processing unit 12 uses the resolution information of the entire image of the display panel 3a and the font size FS of the subtitle file FL1 to determine the font size of the subtitle according to the resolution of the entire image of the display panel (). Steps S101, S102, S103, S106, S110). Since the subtitle file FL1 has information on the ratio of the font size FS to the resolution of the entire image, it is possible to obtain the font size according to the resolution of the entire image, and the resolution of the entire image when the system is constructed can be obtained. Combined subtitle rendering is possible. In other words, the subtitle rendering process can be flexibly supported regardless of the resolution of the entire image of the display panel 3a.
  • the subtitle information acquisition unit 11 uses the subtitle file FL1 including the text data TX of the subtitle character string, the subtitle position information (RP1, RP2, OF1, OF2), and the font size FS as the subtitle information.
  • the entire image information CI1 and the area in charge information CI2 of the display panel 3a are acquired.
  • the subtitle processing unit 12 uses the overall image information CI1 and the area in charge information CI2 of the display panel 3a, and the subtitle position information (RP1, RP2, OF1, OF2) of the subtitle file FL1 to resolve the overall image of the display panel 3a.
  • the subtitle processing unit 12 obtains the size of each character constituting the subtitle, and renders the subtitle portion in the subtitle area from the subtitle start position SPt in the subtitle area to obtain the subtitle image.
  • An example of generation is given (see steps S111 and S123). As a result, even if the subtitles are rendered according to the resolution of the entire image, the subtitles can be rendered using the work memory area of the area in charge of the user.
  • the server 2 of the embodiment includes an output unit 31 that outputs the subtitled image signal VDt for the area in charge generated by the synthesis unit 30 to the display device 3 having the display panel 3a.
  • each server 2 supplies the subtitled image signal VDt of its own area to the display device 3, and these are assigned to each display area on the display device 3 side for display. As a result, an image display with subtitles on a large screen and good character quality is executed.
  • the responsible image generation unit 22 acquires an image signal of the image content to be displayed on the entire display panel, cuts out an image of the responsible area as a part of the image signal, and enlarges the image to the responsible area.
  • An example of generating an image signal of the image content of (see FIG. 4) was given. By generating an image of the area in charge of each server 2 by cutting out and enlarging it, it is possible to display a large screen with a higher resolution on the display panel 3a.
  • the responsible image generation unit 22 acquires an image signal of the image content of only the responsible area of the image contents displayed on the entire display panel and enlarges the image content of the responsible area.
  • An example of generating the image signal of (see FIG. 5) was given. By generating an image of the area in charge of each server 2 by enlarging the input image, it is possible to display a large screen with a higher resolution on the display panel 3a.
  • the present technology can also adopt the following configurations.
  • the subtitle information acquisition unit that acquires subtitle information and Subtitle processing that renders subtitles at the resolution of the entire image of the display panel based on the subtitle information acquired by the subtitle information acquisition unit, and generates a subtitle image of the area in charge of the plurality of display areas divided in the display panel.
  • Department and The responsible image generation unit that generates the image signal of the responsible area
  • An image processing apparatus including a subtitle image generated by the subtitle processing unit and a compositing unit that synthesizes an image signal generated by the responsible image generation unit to generate an image signal with subtitles.
  • the subtitle information acquisition unit is a subtitle file including text data of a subtitle character string, subtitle position information, and font size information as the subtitle information, and is a subtitle information acquisition unit of an image processing device in charge of another display area.
  • the image processing apparatus according to (1) or (2) above which acquires a subtitle file having the same contents as the above.
  • the subtitle processing unit renders the subtitle using the storage area corresponding to the resolution of the entire image of the display panel, and generates the subtitle image by cutting out the area in charge, whichever is one of (1) to (3) above.
  • the image processing apparatus according to.
  • the subtitle processing unit determines the subtitle portion in the area in charge, renders the subtitle portion at the resolution of the entire image to generate a subtitle image, according to any one of (1) to (3) above.
  • Image processing device is a subtitle file including text data of a subtitle character string, subtitle position information, and font size information as the subtitle information, and is a subtitle information acquisition unit of an image processing device in charge of another display area.
  • the subtitle processing unit The subtitle start point at the resolution of the entire image of the display panel, the font size at the resolution of the entire image of the display panel, the subtitle start position in the area in charge, and the information of the subtitle portion in the area in charge are used.
  • the image processing apparatus which renders the image size for the area in charge.
  • the subtitle information acquisition unit acquires the subtitle file including the font size information as the subtitle information, and also acquires the resolution information of the entire image of the display panel.
  • the subtitle processing unit determines the font size of the subtitle according to the resolution of the entire image of the display panel by using the information of the resolution of the entire image of the display panel and the information of the font size of the subtitle file.
  • the image processing apparatus according to (6).
  • the subtitle information acquisition unit acquires the subtitle file including the text data of the subtitle character string, the subtitle position information, and the font size information as the subtitle information, and also obtains the resolution information of the entire image of the display panel and the area in charge of the subtitle. Get information,
  • the subtitle processing unit uses the resolution information of the entire image of the display panel, the information of the area in charge, and the subtitle position information of the subtitle file to determine the subtitle start position according to the resolution of the entire image of the display panel and the subtitle position.
  • the image processing apparatus according to any one of (5) to (7) above, which determines a subtitle start position in the area in charge.
  • the subtitle processing unit obtains the size of each character constituting the subtitle and generates a subtitle image by rendering the subtitle portion in the subtitle area from the subtitle start position in the subtitle area.
  • the image processing apparatus according to any one of (8).
  • the image processing device according to any one of (1) to (9) above, which includes an output unit that outputs an image signal with subtitles for a region in charge generated by the synthesis unit to a display device having a display panel.
  • the responsible image generation unit acquires an image signal of the image content to be displayed on the entire display panel, cuts out an image of the responsible area as a part thereof, and enlarges the image to generate an image signal of the image content of the responsible area.
  • the image processing apparatus according to any one of (1) to (10) above.
  • the responsible image generation unit acquires an image signal of the image content of only the responsible area of the image contents displayed on the entire display panel and enlarges the image signal to generate the image signal of the image content of the responsible area.
  • the image processing apparatus according to any one of 1) to (10).
  • (13) Get subtitle information, Based on the acquired subtitle information, the subtitle is rendered at the resolution of the entire image of the display panel, and the subtitle image of the area in charge of the plurality of display areas divided in the display panel is generated. Generate an image signal of the area in charge
  • An image processing method for generating an image signal with subtitles by synthesizing an image signal in the area in charge and a subtitle image in the area in charge.
  • the image processing device is The subtitle information acquisition unit that acquires subtitle information and Subtitle processing that renders subtitles at the resolution of the entire image of the display panel based on the subtitle information acquired by the subtitle information acquisition unit, and generates a subtitle image of the area in charge of the plurality of display areas divided in the display panel.
  • a display device including a subtitle image generated by the subtitle processing unit and a compositing unit that synthesizes an image signal generated by the responsible image generation unit to generate an image signal with subtitles.
  • 1 image source 2, 2A, 2B, 2C, 2D server, 3 display device, 3a display panel, 4 controller, 11 subtitle information acquisition unit, 12 subtitle processing unit, 21 image acquisition unit, 22 charge image generation unit, 30 composition Unit, 31 output unit, TBM subtitle bitmap data, VD image signal, VDt image signal with subtitle, FL0 image file, FL1 subtitle file, FL2 font file

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

画像処理装置は、字幕情報を取得する字幕情報取得部と、字幕情報取得部で取得した字幕情報に基づき、表示パネルの全体画像の解像度で字幕をレンダリングし、表示パネルにおいて分割された複数の表示領域のうちの担当領域の字幕画像を生成する字幕処理部と、担当領域の画像信号を生成する担当画像生成部と、字幕処理部で生成した字幕画像と、担当画像生成部で生成した画像信号を合成して字幕付き画像信号を生成する合成部とを備えるようにする。

Description

画像処理装置、画像処理方法、表示装置
 本技術は画像処理装置、画像処理方法、表示装置に関し、特に複数の表示領域毎の画像を供給して全体の画像表示を行う場合の字幕表示の技術分野に関する。
 一つの画像を複数の領域に分割した状態の各画像信号を複数のサーバで生成し、表示パネルに供給することで、例えばそれらがつなぎ合わされた大画面表示を行うようにした技術が知られている。
 一方、一般的な字幕表示技術の例としては下記特許文献1の記載の技術が挙げられる。
国際公開第2017/130804号
 ところで大型のタイリングディスプレイのように1つの画像を複数のサーバ(再生機)を使って表示する場合で字幕表示を考えると、字幕を構成するテキストの品質が低下することが懸念される。
 例えば4K(3840画素×2160画素)画像を上下左右に4つ並べて8K(7680画素×4320画素)画像表示を行うことを想定した場合、画像に重畳される字幕を、画面サイズに合わせて拡大すると、その文字が、角が目立つような画像となってしまう。
 視聴者にとって大画面表示における文字のクオリティは感得されやすいため、できるだけ綺麗な文字で字幕表示をしたいという要望がある。
 そこで本技術では字幕表示の品質を向上させることを目的とする。
 本技術に係る画像処理装置は、字幕情報を取得する字幕情報取得部と、前記字幕情報取得部で取得した字幕情報に基づき、表示パネルの全体画像の解像度で字幕をレンダリングし、前記表示パネルにおいて分割された複数の表示領域のうちの担当領域の字幕画像を生成する字幕処理部と、前記担当領域の画像信号を生成する担当画像生成部と、前記字幕処理部で生成した字幕画像と、前記担当画像生成部で生成した画像信号を合成して字幕付き画像信号を生成する合成部とを備える。
 この場合、表示パネルは、例えば複数の表示領域に分割され、各領域は、それぞれ担当する画像処理装置(サーバ)からの画像信号に基づく表示を行うことを想定する。例えば4つの画像処理装置により、4つの表示領域を垂直水平方向に並べた大画面の表示を行う表示パネルを想定する。
 そして上記構成の画像処理装置は、その1つの表示領域に対応する画像処理装置として適用できるものである。
 上記した本技術に係る画像処理装置においては、前記字幕情報取得部は、他の表示領域を担当する画像処理装置の字幕情報取得部と共通の字幕情報を取得することが考えられる。
 例えば4つの画像処理装置により、表示パネルの4つの表示領域のそれぞれに画像信号を供給するシステムを想定した場合、それら4つの画像処理装置には、共通の字幕情報が供給されるようにする。
 上記した本技術に係る画像処理装置においては、前記字幕情報取得部は、前記字幕情報として、字幕文字列のテキストデータ、字幕位置情報、及びフォントサイズ情報を含む字幕ファイルであって、他の表示領域を担当する画像処理装置の字幕情報取得部と同一内容の字幕ファイルを取得することが考えられる。
 即ち字幕文字列のテキストデータ、字幕位置情報、及びフォント情報が同じ内容の共通の字幕ファイルが、各画像処理装置に供給される。
 上記した本技術に係る画像処理装置においては、前記字幕処理部は、表示パネルの全体画像の解像度に対応する記憶領域を用いて、字幕のレンダリングを行い、担当領域を切り出すことで字幕画像を生成することが考えられる。
 表示パネルの例えば4つの表示領域のそれぞれに画像信号を供給するシステムを想定した場合、4つの表示領域の全体に相当する記憶領域を用意してレンダリングを行う。
 上記した本技術に係る画像処理装置においては、前記字幕処理部は、担当領域内の字幕部分を判定して、該字幕部分について、全体画像の解像度によるレンダリングを行って字幕画像を生成することが考えられる。
 表示パネルの複数の表示領域のそれぞれに対応する画像処理装置が画像信号を供給するシステムを想定した場合、各画像処理装置は、自己が担当する表示領域に含まれる字幕部分を判定することができれば、その字幕部分のレンダリングを行って字幕画像を生成すればよいことになる。
 なお担当領域内の字幕部分とは、字幕を構成する文字列等のうちで、担当領域内に表示される部分をいう。
 上記した本技術に係る画像処理装置においては、前記字幕処理部は、表示パネルの全体画像の解像度における字幕開始点と、表示パネルの全体画像の解像度でのフォントサイズと、前記担当領域内の字幕開始位置と、前記担当領域内の字幕部分の情報を用いて、前記担当領域分の画像サイズのレンダリングを行うことが考えられる。
 全体画像の解像度での字幕開始点とフォントサイズから、全体での字幕を構成する各文字の配置が判定できる。これにより担当領域内の字幕開始位置と字幕部分も判定できる。
 上記した本技術に係る画像処理装置においては、前記字幕情報取得部は、前記字幕情報として、フォントサイズ情報を含む字幕ファイルを取得するとともに、表示パネルの全体画像の解像度の情報を取得し、前記字幕処理部は、表示パネルの全体画像の解像度の情報と前記字幕ファイルのフォントサイズの情報を用いて、表示パネルの全体画像の解像度に応じた字幕のフォントサイズを決定することが考えられる。
 即ち全体画像の解像度に対応する字幕のフォントサイズを計算する。
 上記した本技術に係る画像処理装置においては、前記字幕情報取得部は、前記字幕情報として、字幕文字列のテキストデータ、字幕位置情報、及びフォントサイズ情報を含む字幕ファイルを取得するとともに、表示パネルの全体画像の解像度の情報及び前記担当領域の情報を取得し、前記字幕処理部は、表示パネルの全体画像の解像度の情報と前記担当領域の情報、及び前記字幕ファイルの字幕位置情報を用いて、表示パネルの全体画像の解像度に応じた字幕開始位置、及び前記担当領域での字幕開始位置を決定することが考えられる。
 全体画像の解像度における字幕の配置を判定し、また自己の担当領域が把握できれば、担当領域の字幕開始位置を計算できる。
 上記した本技術に係る画像処理装置においては、前記字幕処理部は、字幕を構成する各文字のサイズを求め、前記担当領域での字幕開始位置から、前記担当領域内の字幕部分のレンダリングを行うことで字幕画像を生成することが考えられる。
 文字サイズと字幕開始位置がわかることで、担当領域の字幕レンダリングが可能となる。
 上記した本技術に係る画像処理装置においては、前記合成部で生成した担当領域分の字幕付き画像信号を、表示パネルを有する表示装置に出力する出力部を備えることが考えられる。
 即ち画像処理装置は、字幕を合成した字幕付き画像信号を、表示パネルを有する表示装置に対して、自己の担当分の字幕付き画像信号を供給し、字幕付きの画像を表示させる。
 上記した本技術に係る画像処理装置においては、前記担当画像生成部は、表示パネル全体で表示する画像内容の画像信号を取得し、その一部である担当領域の画像を切り出して拡大することで、担当領域分の画像内容の画像信号を生成することが考えられる。
 即ち表示パネル全体で表示すべき内容の画像信号が供給される場合、その一部を切り出して拡大することで自己の担当領域の画像信号を生成する。
 上記した本技術に係る画像処理装置においては、前記担当画像生成部は、表示パネル全体で表示する画像内容のうちの担当領域のみの画像内容の画像信号を取得し、拡大することで、担当領域分の画像内容の画像信号を生成することが考えられる。
 即ち表示パネル全体で表示すべき内容の画像信号の一部である担当領域の画像信号が供給される場合、それを拡大することで自己の担当領域の画像信号を生成する。
 本技術に係る画像処理方法は、字幕情報を取得し、取得した字幕情報に基づき、表示パネルの全体画像の解像度で字幕をレンダリングして、前記表示パネルにおいて分割された複数の表示領域のうちの担当領域の字幕画像を生成し、前記担当領域の画像信号を生成し、前記担当領域の画像信号と、前記担当領域の字幕画像を合成して字幕付き画像信号を生成する画像処理方法である。
 これにより表示パネルの1つの表示領域を担当領域とした場合に表示パネルの解像度のレベルでレンダリングした字幕画像を合成した字幕付き画像信号を生成する。
 本技術に係る表示装置は、複数の表示領域に分割され、各表示領域に対しては、それぞれ1の表示領域が担当領域として割り当てられた複数の画像処理装置から字幕付き画像信号が供給されることで画像表示を行うようにされる表示パネルを有する。この場合の画像処理装置は上記した構成とする。
本技術の実施の形態の表示システム構成のブロック図である。 実施の形態で想定する表示装置と複数のサーバの説明図である。 実施の形態のサーバのブロック図である。 実施の形態のサーバの担当領域の画像信号生成の説明図である。 実施の形態のサーバの担当領域の画像信号生成の説明図である。 実施の形態のサーバの担当領域の画像信号生成の説明図である。 字幕処理の説明図である。 比較例の字幕処理の説明図である。 実施の形態の第1の字幕処理例の説明図である。 実施の形態の第2の字幕処理例の説明図である。 実施の形態の第3の字幕処理例の説明図である。 実施の形態の第3の字幕処理例の処理手順の説明図である。
 以下、実施の形態を次の順序で説明する。
<1.システム構成>
<2.サーバ構成>
<3.サーバの画像処理>
<4.サーバの字幕処理>
 [4-1:字幕処理概要及び比較例]
 [4-2:第1の字幕処理例]
 [4-1:第2の字幕処理例]
 [4-1:第3の字幕処理例]
<5.まとめ及び変形例>

 なお、説明上の解像度(画素数)の表記について述べておく。
 一般に「2K」「4K」「8K」は、例えば水平及び垂直方向に、
2K:1920画素×1020画素
4K:3840画素×2160画素
8K:7680画素×4320画素
 とされる(但し、必ずしもこの画素数に限定されるものではない)。
 説明及び図面には逐次「2K」「4K」「8K」等の表記を行うが、
説明上の一例として、「2K」「4K」「8K」の表記を画像又は画面の水平方向について付す場合は、それぞれ1920画素、3840画素、2160画素を指し、画像又は画面の垂直方向について付す場合は、それぞれ1020画素、2160画素、4320画素を指すものとする。
 また説明上、画像信号や表示パネルの画面サイズとして「8K4K」などの表記を行うが、これは「水平-垂直」の画素数を表すものとし、水平方向に8K(7680画素)、垂直方向に4K(2160画素)のサイズを意味するものとする。
 なお、以上の具体的な画素数は説明上の一例であり、これらの画素数に限られるものではない。
<1.システム構成>
 図1は実施の形態の表示システム構成例を示すブロック図である。
 この表示システムは、画像ソース1、複数のサーバ2(例えばサーバ2A,2B,2C,2D)、表示装置3、コントローラ4を有する。
 なお「サーバ2」の表記は、各サーバ2A,2B,2C,2Dを特に区別せずに総称する場合に用いる。
 画像ソース1は表示対象とする画像信号やそれに付随する字幕情報をサーバ2に供給する部位を示している。
 この画像ソース1としては、例えば動画や静止画としての画像信号を記憶する記憶装置が具体的な一例となる。また外部装置からの有線又は無線により送信されてくる画像データの受信装置も画像ソース1の一例となる。
 さらに、例えばメモリカード、光ディスク、磁気テープなどの記憶媒体から画像信号を読み出す再生装置や、HDD(Hard Disk Drive)なども画像ソース1の一例となる。
 ここでは画像ソース1は、動画や静止画としての画像信号を含む画像ファイルFL0をサーバ2に供給するものとする。
 また画像ソース1は、字幕情報として字幕ファイルFL1とフォントファイルFL2を各サーバ2に供給する。字幕ファイルFL1やフォントファイルFL2の内容については後述する。
 各サーバ2A,2B,2C,2Dは、それぞれ画像ファイルFL0の情報をデコードして再生画像を生成し、表示装置3に供給する装置、即ち再生機である。
 ここでは一例として、各サーバ2A,2B,2C,2Dはそれぞれ同一の装置であり、それぞれが4K対応の再生機であるとする。即ち各サーバ2A,2B,2C,2Dはそれぞれ4K画像としての画像信号を表示装置3に供給する。
 表示装置3は表示パネル3aを有し、各サーバ2A,2B,2C,2Dからの画像信号を合成して表示パネル3aに表示させる処理を行う。
 ここで表示パネル3aとしては、8K4Kの解像度の表示領域を備えたものを例示している。この表示パネル3aは、それぞれ4K2Kの表示領域AR1,AR2,AR3,AR4に分割され、それぞれの表示領域AR1,AR2,AR3,AR4が各サーバ2A,2B,2C,2Dに割り当てられる。
 即ち、サーバ2Aは表示領域AR1を担当領域とし、表示領域AR1に表示させる画像信号を生成して表示装置3に供給する。
 サーバ2Bは表示領域AR2を担当領域とし、表示領域AR2に表示させる画像信号を生成して表示装置3に供給する。
 サーバ2Cは表示領域AR3を担当領域とし、表示領域AR3に表示させる画像信号を生成して表示装置3に供給する。
 サーバ2Dは表示領域AR4を担当領域とし、表示領域AR4に表示させる画像信号を生成して表示装置3に供給する。
 表示装置3は、これらのようにサーバ2A,2B,2C,2Dからの各担当領域の画像信号を、各表示領域AR1,AR2,AR3,AR4に表示させるようにすることで、例えば8K4Kの解像度による大画面表示を実現する。
 換言すれば、1つのサーバ2が担当する表示領域は4K2Kサイズであるため、各サーバ2としては、4K対応の再生機を用いることができる。
 なお、表示パネル3aを8K4Kとするのは一例である。例えば図2には同じく4K対応のサーバ2を16台用いて、16K8Kの表示パネル3aによる表示を実行させる例を示している。
 この例のように、例えば4K対応の再生機であるサーバ2を必要数用いることで、多様なサイズの表示パネル3aに対応する表示システムを構築することができる。
 図示しないが例えばサーバ2を2台用いて、水平-垂直方向で4K4Kの表示パネルや8K2Kの表示パネルを有する表示システムを構築できる。
 また例えばサーバ2を4台用いて、図示の8K4K以外に、4K8Kや16K2Kの表示パネルを有する表示システムを構築できる。
 また例えばサーバ2を6台用いて、4K6Kの表示パネルや12K2Kの表示パネルを有する表示システムを構築できる。
 また例えばサーバ2を9台用いて、12K6Kの表示パネルを有する表示システムを構築できる。
 これ以外にも多様な表示システムが想定される。
 図1においてコントローラ4は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを備えたコンピュータ装置などにより構成される。
 このコントローラ4はサーバ2と通信可能とされ、例えばシステム設定情報CIを各サーバ2に供給する。
 システム設定情報CIの例としては、サーバ2で字幕生成のために用いる字幕情報の1つとして、表示パネル3aの全体画像情報CI1や各サーバ2A,2B,2C,2Dの担当領域を示す担当領域情報CI2が想定される。
 全体画像情報CI1とは、表示パネル3aの全体、即ち表示領域AR1,AR2,AR3,AR4を合わせた全体の解像度(画像サイズ)の情報である。
 なおコントローラ4は設けなくても表示システムは構成できる。例えばコントローラ4に相当する機能が各サーバ2に内蔵されてもよいし、コントローラ4による設定情報(例えば全体画像情報CI1や担当領域情報CI2)が、オペレータ等により各サーバ2A,2B,2C,2Dに入力されるようにしてもよい。
<2.サーバ構成>
 サーバ2の構成例を図3に示す。
 サーバ2は、字幕情報取得部11、字幕処理部12、画像取得部21、担当画像生成部22、合成部30、出力部31を有する。
 字幕情報取得部11は、画像ソース1から字幕ファイルFL1、フォントファイルFL2を取得し、ファイル内容をデコードして字幕処理部12に受け渡す。
 また字幕情報取得部11は、例えばコントローラ4からの全体画像情報CI1、担当領域情報CI2を取得し、字幕処理部12に受け渡す。
 全体画像情報CI1、担当領域情報CI2は、上述のようにコントローラ4からではなく、システム構築時などにおいてオペレータがサーバ2に設定入力したものでもよい。
 字幕処理部12は字幕情報取得部11で取得した字幕情報(字幕ファイルFL1、フォントファイルFL2、全体画像情報CI1、担当領域情報CI2)に基づき、表示パネル3aの全体画像の解像度(例えば8K4K)で字幕をレンダリングし、表示パネル3aにおいて分割された複数の表示領域AR1,AR2,AR3,AR4のうちの自己の担当領域の字幕画像TBMを生成する処理を行う。具体例は後述する。
 画像取得部21は、画像ソース1から画像ファイルFL0を取得し、画像ファイルFL0に含まれる内容、即ち例えば動画としての各フレームの画像データ(或いは静止画データ)をデコードして、担当画像生成部22に受け渡す。
 担当画像生成部22は、表示パネル3aの表示領域AR1,AR2,AR3,AR4のうちの自己の担当領域の画像信号VDを生成する処理を行う。
 例えば担当画像生成部22は、画像取得部21が表示パネル3aの全体で表示する画像内容の画像信号を取得する場合、その一部である担当領域の画像を切り出して拡大することで、担当領域分の画像内容の画像信号を生成する。
 或いは例えば担当画像生成部22は、画像取得部21が表示パネル3aの全体で表示する画像内容のうちの担当領域のみの画像内容の画像信号を取得する場合、その画像を拡大することで、担当領域分の画像内容の画像信号を生成する。
 もちろんこれら以外の手法で担当領域分の画像内容の画像信号を生成することも想定される。
 合成部30は字幕処理部12で生成した字幕画像と、担当画像生成部22で生成した画像信号を合成して字幕付き画像信号VDtを生成する。
 出力部31は、合成部30で生成した担当領域分の字幕付き画像信号VDtを表示装置3に対して出力する。
 各サーバ2A,2B,2C,2Dの出力部31から、それぞれの担当領域の字幕付き画像信号VDtが表示装置3に供給されることで、それらを上下左右に配置した大画面表示が表示パネル3aにおいて実行される。
<3.サーバの画像処理>
 以上のサーバ2において行われる画像処置について各種の例を説明する。即ちサーバ2の画像取得部21、担当画像生成部22で行われる自己の担当領域の画像信号VDの生成手法である。
 図4は4K素材としての画像信号を、4K対応のサーバ2を4台用いて8K4Kの表示パネル3aで8K表示する場合の例を示している。
 画像ソース1は、各サーバ2A,2B,2C,2Dに、4K2Kの画像信号を含む画像ファイルFL0を供給する。
 各サーバ2の画像取得部21は、この画像ファイルFL0を取得してデコードする。
 そして担当画像生成部22は、デコードされた画像信号において、自己の担当領域(図の斜線部分)の画像を切り出し、拡大する。切り出した担当領域の画像は2K1Kとなるが、担当画像生成部22は、これを4K2Kサイズに拡大することで、自己の担当領域の画像信号VDとする。
 各サーバ2A,2B,2C,2Dが、このようにそれぞれ斜線部で示す担当領域の画像を4K2Kサイズに拡大した画像信号VDを生成し、表示装置3に供給する。表示装置3がそれらを各表示領域AR1,AR2,AR3,AR4の画像として合成して表示パネル3aに表示させることで、8K4K画像が表示される。
 図5も、4K素材としての画像信号を、4K対応のサーバ2を4台用いて8K4Kの表示パネル3aで8K表示する場合の例である。
 画像ソース1は、各サーバ2A,2B,2C,2Dに、それぞれ4K2Kの画像を2K1K領域毎に分割した画像を含む画像ファイルFL0A,FL0B,FL0C,FL0Dを供給する。
 各サーバ2A,2B,2C,2Dの画像取得部21は、それぞれ対応する画像ファイルFL0(FL0A,FL0B,FL0C,FL0D)を取得してデコードする。
 デコードされた画像信号は2K1Kの画像信号である。そこで担当画像生成部22はこれを4K2Kサイズに拡大して、自己の担当領域の画像信号VDとする。
 各サーバ2A,2B,2C,2Dが、このように4K2Kサイズに拡大した担当領域の画像信号VDを生成し、表示装置3に供給する。表示装置3がそれらを各表示領域AR1,AR2,AR3,AR4の画像として合成して表示パネル3aに表示させることで、8K4K画像が表示される。
 図6は、元々8K素材とされている画像信号を、4K対応のサーバ2を4台用いて8K4Kの表示パネル3aで8K表示する場合の例である。
 画像ソース1は、各サーバ2A,2B,2C,2Dに、8K4Kの画像を4K2K領域毎に分割した画像を含む画像ファイルFL0A,FL0B,FL0C,FL0Dを供給する。
 各サーバ2A,2B,2C,2Dの画像取得部21は、それぞれ対応する画像ファイルFL0(FL0A,FL0B,FL0C,FL0D)を取得してデコードする。
 デコードされた画像信号は既に4K2Kの画像信号である。そこで担当画像生成部22はこれを自己の担当領域の画像信号VDとする。
 各サーバ2A,2B,2C,2Dが、このように4K2Kサイズの担当領域の画像信号VDを表示装置3に供給する。表示装置3がそれらを各表示領域AR1,AR2,AR3,AR4の画像として合成して表示パネル3aに表示させることで、8K4K画像が表示される。
<4.サーバの字幕処理>
 [4-1:字幕処理概要及び比較例]
 続いてサーバ2の字幕処理について説明する。まず図7で字幕処理の概要を説明する。
 図7Aは、画像ソース1からサーバ2に供給されるパッケージとしてのファイル群を示している。つまり画像ファイルFL0、字幕ファイルFL1、フォントファイルFL2である。
 このように画像ファイルFL0に対応して、字幕ファイルFL1とフォントファイルFL2が設けられている場合、サーバ2が画像表示上で字幕表示が行われるように字幕処理を行う。
 なお字幕情報として字幕ファイルFL1とフォントファイルFL2が用意されるのは一例である。
 パッケージとしては、PNG(Portable Network Graphics)ファイルとして字幕画像がサーバ2に供給される場合や、或いは、字幕ファイルFL1とフォントファイルFL2とともにPNGファイルがサーバ2に供給される場合もある。
 本実施の形態では字幕ファイルFL1とフォントファイルFL2を用いる例で説明している。
 字幕ファイルFL1は例えばXML(Extensible Markup Language)ファイルとされ、その内容として、
・テキストデータ(TX)
・縦方向基準位置(RP1)、横方向基準位置(RP2)
・縦方向オフセット(OF1)、横方向オフセット(OF2)
・フォントサイズ(FTS)
が記述されている。
 テキストデータ(TX)とは、実際に字幕となる文字列のテキストデータである。図7Bでは「abcde」としての文字列の字幕を例示している。
 縦方向基準位置(RP1)とは、表示画像内で字幕位置の基準とする縦方向の位置を示す情報であり、「TOP」(画面上端)或いは「BOTTOM」(画面下端)のような情報となる。
 横方向基準位置(RP2)とは、表示画像内で字幕位置の基準とする横方向の位置を示す情報であり、「LEFT」(画面左端)或いは「RIGHT」(画面右端)のような情報となる。
 縦方向オフセット(OF1)は、表示画像内の字幕開始位置として、縦方向基準位置(RP1)からの縦方向のオフセット量を示す情報であり、例えば「80%」などとして画像の縦(垂直)サイズに対する割合で表現される。
 横方向オフセット(OF2)は、表示画像内の字幕開始位置として、横方向基準位置(RP2)からの横方向のオフセット量を示す情報であり、例えば「40%」などとして画像の横(水平)サイズに対する割合で表現される。
 フォントサイズ(FTS)は、フォントサイズを表示画像サイズに対する割合により示している。
 フォントファイルFL2には字幕を構成する文字のフォントが記述されている。
 図7B上段は、このような字幕ファイルFL1及びフォントファイルFL2を用いた字幕処理で生成される字幕画像を示している。
 例えば縦方向基準位置(RP1:TOP)、横方向基準位置(RP2:LEFT)、縦方向オフセット(OF1)、横方向オフセット(OF2)で決まる字幕開始位置から「abcde」という文字列の字幕が配置された字幕画像としている。
 図7B下段は、画像ファイルFL0からデコードされた、字幕を合成する画像を示している。
 この図7B上段下段の画像が合成されることで、図7Cのように字幕合成画像としての画像信号が生成される。
 本実施の形態サーバ2の場合、図7B下段の画像に相当する画像信号VDを担当画像生成部22が生成し、図7B上段の画像に相当する字幕画像TBMを字幕処理部12が生成し、これらを合成部30で合成することで字幕付き画像信号VDtが生成されることになる。
 ここで、上述のように各サーバ2で担当領域が分けられる場合の字幕処理を想定した例を図8で説明する。これは本実施の形態の字幕処理に対する比較例として挙げる処理例である。
 いま、8K4Kの画サイズを想定した字幕情報が用意されて各サーバ2に供給されたとする。即ち図8Aのような8K4Kサイズの字幕画像を想定して、担当領域の字幕画像を生成する場合である。
 このとき4K対応の各サーバ2では、図8Bのように一旦4K2Kサイズに縮小レンダリングする。
 このとき画像における斜線部HT3を担当するサーバ2(例えばサーバ2C)では、この斜線部HT3の2K1Kの領域を切り出して、これを4K2Kサイズに拡大する。これにより図8Cのように担当する領域の字幕画像が生成される。
 また斜線部HT4を担当するサーバ2(例えばサーバ2D)では、斜線部HT4の2K1Kの領域を切り出して、これを4K2Kサイズに拡大する。これにより図8Dのように担当する領域の字幕画像が生成される。
 各サーバ2がこのように字幕画像を生成し、担当領域の画像信号に合成して表示装置3に供給すれば、表示領域AR1,AR2,AR3,AR4のそれぞれを複数のサーバ2A,2B,2C,2Dが担当するシステムであっても、字幕表示を行うことができる。
 しかしながらこの比較例の場合、一旦図8Bのように縮小した字幕画像を拡大するという過程が含まれる。このため、字幕を構成する文字の表示品質が低下してしまう。即ち文字が角張った(ギザギザした)表示となってしまう。
 そこで本実施の形態としては、以下説明する第1,第2,第3の字幕処理例のような字幕処理を行う。
 [4-2:第1の字幕処理例]
 実施の形態の第1の字幕処理例を図9で説明する。これは字幕処理部12が、表示パネル3aの全体画像の解像度に対応する記憶領域(ワークメモリ)を用いて、字幕のレンダリングを行い、担当領域を切り出すことで字幕画像TBMを生成する例である。この場合、4K対応のサーバ2において、8K4K対応のワークメモリを備えるようにする。
 図9には、サーバ2C、2Dの字幕処理部12の処理を模式的に示している。
 字幕情報取得部11が取得した字幕情報に基づいて、字幕処理部12は字幕画像のレンダリングを行い、図のように8K4Kサイズの字幕画像TBMrを生成する。この場合、8K4Kサイズのワークメモリ上に字幕画像TBMrを生成することになる。
 そして字幕画像TBMrから自己の担当領域を切り出す。
 即ちサーバ2Cの場合は、担当領域である斜線部HT3を切り出して字幕画像TBMとする。この字幕画像TBMは4K2Kサイズとなる。
 サーバ2Dの場合は、担当領域である斜線部HT4を切り出して4K2Kサイズの字幕画像TBMとする。
 なお、この例では、サーバ2A、2Bについては担当領域に字幕が存在しない場合であるとして図示を省略しているが、同様に8K4Kでレンダリングした字幕画像TBMrから自己の担当領域を切り出して字幕画像TBMを生成する。
 各サーバ2では、このように字幕画像TBMを生成し、画像信号VDと合成して字幕付き画像信号VDtを生成し、表示装置3に出力する。これにより8K4Kサイズの字幕付の画像表示が行われる。
 この場合、字幕に関して図8の比較例のような拡大処理を伴わないため、品質の良い文字表示が行われる。
 [4-1:第2の字幕処理例]
 実施の形態の第2の字幕処理例を図10で説明する。これは各サーバ2A,2B,2C,2Dに対して、それぞれ専用の字幕ファイルFL1が用意される例である。
 図10では字幕ファイルによって生成される字幕画像のイメージにより、字幕ファイルFL1a,FL1b,FL1c,FL1dを示している。字幕ファイルFL1aはサーバ2Aに、字幕ファイルFL1bはサーバ2Bに、字幕ファイルFL1cはサーバ2Cに、字幕ファイルFL1dはサーバ2Dに、それぞれ供給される。
 各サーバ2A,2B,2C,2Dの字幕処理部12は、それぞれ供給された字幕ファイルFL1a,FL1b,FL1c,FL1dに基づいて、8K4K解像度対応の字幕画像TBMを生成する。この場合、字幕画像TBMとしては、字幕部分の画像のみでよい(担当領域全体の画像とする必要はない)。
 各サーバ2では、このように字幕画像TBMを生成し、画像信号VDと合成して字幕付き画像信号VDtを生成し、表示装置3に出力する。これにより8K4Kサイズの字幕付の画像表示が行われる。
 この場合も、字幕に関して図8の比較例のような拡大処理を伴わないため、品質の良い文字表示が行われる。
 [4-1:第3の字幕処理例]
 実施の形態の第3の字幕処理例を図11,図12で説明する。これは字幕処理部12が、担当領域内の字幕部分を判定して、該字幕部分について、全体画像の解像度によるレンダリングを行って字幕画像TBMを生成する例である。
 なお担当領域内の字幕部分とは、字幕を構成する文字列等のうちで、担当領域内に表示される部分をいう。
 上記の第1の字幕処理例では、各サーバ2は、4K対応であるにも関わらず、8K4K分のワークメモリが必要となり、メモリ容量負担が大きくなってしまうが、この第3の字幕処理例では、各サーバ2は4K対応であれば通常備えることになる4K2K分のワークメモリ内で字幕画像TBMを生成できる。
 また上記の第2の字幕処理例では、各サーバ2に対して専用の字幕ファイルFL1を用意しなければならず、字幕作成者の負担が大きくなったり、また表示パネル3aの解像度に応じて、字幕ファイルFL1を変えなければならずシステム構築の柔軟性の点で不利な点がある。これに対して第3の字幕処理例では、各サーバ2に共通の字幕ファイルFL1を提供すれば良く、またその字幕ファイルFL1は、表示パネル3aの解像度変更にかかわらず使用できる。
 第3の字幕処理例の概要を図11で説明する。
 なお字幕情報取得部11は字幕ファイルFL1、フォントファイルFL2を取得する。また字幕情報取得部11は、例えばコントローラ4から予め供給されていた(或いは予めオペレータ操作等により設定されていた)表示パネル3aの全体画像情報CI1、担当領域情報CI2を取得する。そしてこれらの情報に基づいて、字幕処理部12が以下のように字幕処理を行う。
 図11は、斜線部HT4を担当領域とするサーバ2Dの処理を模式的に示している。
 字幕処理部12は、まず図11Aに示すような字幕開始位置SPを決定する。これは表示パネル3aの全体画像の解像度としての8K4Kの領域における字幕の先頭文字からの配置が開始される位置を求めることになる。
 この字幕開始位置SPは、字幕ファイルFL1における縦方向基準位置RP1、横方向基準位置RP2、縦方向オフセットOF1、横方向オフセットOF2から計算できる。
 また字幕処理部12は、字幕開始位置SPから自己の担当領域までの距離を計算する。図のようにサーバ2Dの場合、字幕開始位置SPから斜線部HT4の左端までの距離d1となる。
 字幕処理部12は、字幕の各文字のサイズを計算し、自己の担当領域の開始位置と最初の文字を決定する。
 文字のサイズの例を図11Dに示している。例えば「a」の文字のサイズとして横x1、縦y1、「b」の文字のサイズとして横x2、縦y2、「c」の文字のサイズとして横x3、縦y3、というようにサイズを特定する。
 このように各文字のサイズを特定することにより、文字列の全体の縦横のサイズを特定できる。なお、文字列の文字間には空白等が含まれることがあるが、文字列のサイズはそれらを含めて計算する。
 各文字のサイズから文字列のサイズを求めることで、自己の担当領域に配置される最初の文字や文字列の終了位置が判定できる。
 即ち担当領域に配置される字幕部分(字幕全体のうちの担当領域での配置部分)が判定できる。
 また自己の担当領域における字幕開始位置SPtは字幕開始位置SPと距離d1により計算できる。
 例えば図11Bにはサーバ2Dの場合の担当領域における最初の文字が「c」となった場合を示している(正確には「c」の右半分)。
 以上から字幕の文字列が「abcde」であった場合、サーバ2Dの字幕処理部12は、「cde」(但し「c」は右半分のみ)を含む字幕画像を生成すればよいものとなる。
 そこでサーバ2Dの字幕処理部12は、図11Eのように、最初の文字(の一部)から順番にレンダリングし、自己の担当領域の文字のビットマップデータとしての字幕画像TBMを生成する。
 図11Cは、このビットマップデータである字幕画像TBMを8K4Kサイズに重畳した状態で示したものである。
 以上の処理を図12において詳細に説明する。図12は各処理ステップの流れと関連を示したものである。
 なお図12のステップS101からS107は字幕情報取得部11の処理、ステップS110、S111、S120、S122、S123は字幕処理部12の処理、ステップS124は合成部30の処理と考えることができる。但しこのような処理の区分けは一例である。
 ステップS101は字幕情報取得部11が字幕ファイルFL1に記述されたフォントサイズFTSの情報を取得することを示している。
 ステップS102は字幕情報取得部11が字幕ファイルFL1に記述されたテキストデータTX、即ち字幕の文字列の情報を取得することを示している。
 ステップS103は字幕情報取得部11が字幕位置情報を取得することを示している。即ち字幕情報取得部11は字幕ファイルFL1に記述された縦方向基準位置RP1、横方向基準位置RP2、縦方向オフセットOF1、横方向オフセットOF2を取得する。
 ステップS105は、字幕情報取得部11がフォントファイルFL2の情報を取得することを示している。
 ステップS106は字幕情報取得部11が表示パネル3aで表示する画像の全体画像情報CI1を取得して字幕処理に用いる情報として設定することを示している。
 ステップS107は、字幕情報取得部11が表示パネル3aにおける担当領域情報CI2を取得することを示している。
 字幕処理部12はステップS110で字幕のフォントサイズを決定する。字幕ファイルFL1におけるフォントサイズFSは、全体画像の解像度(画像サイズ)に対する割合で記述されているため、全体画像情報CI1とフォントサイズFSの情報を用いて、実際のフォントサイズを求める。
 ステップS111で字幕処理部12は、決定したフォントサイズと、テキストデータTXと、フォントファイルFL2の情報を用いて、各文字のビットマップデータ及びサイズの情報を作成する。
 一方で字幕処理部12はステップS120では、全体画像の解像度における字幕開始位置SPを決定する。これは全体画像情報CI1及び縦方向基準位置RP1、横方向基準位置RP2、縦方向オフセットOF1、横方向オフセットOF2により計算できる。
 ステップS122で字幕処理部12は、担当領域の字幕開始位置SPtや終了位置を計算する。字幕処理部12は担当領域情報CI2により、例えば8K4Kとしての全体画像の解像度での自己の担当領域を把握している。従って上述のように字幕開始位置SPと距離d1とから、自己の担当領域での字幕開始位置SPtを計算できる。
 また字幕処理部12は字幕の各文字のサイズから求められる文字列のサイズ、字幕開始位置SP、距離d1を受けて、担当領域内の字幕終了位置を計算できる。
 ステップS122,S111の情報に基づけば、字幕処理部12は、担当領域内での字幕部分及び担当領域における字幕開始位置SPtが判定できる。そこでステップS123で字幕処理部12は、ステップS122,S111の情報に基づいて自己の担当領域分の字幕ビットマップデータを生成する。そしてその字幕ビットマップデータを字幕画像TBMとして合成部30に供給する。
 合成部30ではステップS124として画像信号VDと字幕画像TBMを合成し、字幕付き画像信号VDtとして出力する。
 各サーバ2が、以上のように字幕画像TBMを生成し、画像信号VDと合成して字幕付き画像信号VDtを生成し、表示装置3に出力することで、表示パネル3aで8K4Kサイズの字幕付の画像表示が行われる。
 この場合も、字幕に関して図8の比較例のような拡大処理を伴わないため、品質の良い文字表示が行われる。
<5.まとめ及び変形例>
 以上の実施の形態によれば次のような効果が得られる。
 実施の形態のサーバ2(画像処理装置)は、字幕情報を取得する字幕情報取得部11と、字幕情報取得部11で取得した字幕情報に基づき、表示パネル3aの全体画像の解像度で字幕をレンダリングし、表示パネル3aにおいて分割された複数の表示領域AR1,AR2,AR3,AR4のうちの担当領域の字幕画像TBMを生成する字幕処理部12を備える。またサーバ2は、担当領域の画像信号VDを生成する担当画像生成部22と、字幕処理部で生成した字幕画像TBMと、担当画像生成部22で生成した画像信号VDを合成して字幕付き画像信号VDtを生成する合成部30を備える。
 この場合、字幕画像TBM(例えば字幕ビットマップデータ)は、表示パネル3aの全体画像の解像度で字幕をレンダリングしたものであり、その解像度に応じた文字画像品質となる。例えば表示パネル3aの全体画像の解像度が8K4Kであれば、字幕画像は8K4K水準の品質となる。従って、読みやすく高品位な字幕表示が実現される。
 特に画像と異なり文字の場合は、拡大によりサイズを表示画面に合わせると、角張った画像(ギザギザが目立つ画像)となってしまい、文字としての品位が低下するが、実施の形態の技術によれば、そのような文字画像とはならず、表示パネル3aの解像度に合致したなめらかな文字となる。
 また以上の効果を鑑みれば、実施の形態の技術は、例えば大型のタイリングディスプレイのように1つの画像を複数のサーバ2(再生機)を使って表示する場合、例えば8K4Kの表示パネル3aに4K対応のサーバ2を4台使って表示するようなケースにおいて、効率的かつ綺麗な文字描写を行える字幕処理手法となる。
 第1,第3の実施の形態では、サーバ2の字幕情報取得部11は、他の表示領域を担当する他のサーバ2の字幕情報取得部11と共通の字幕情報を取得する例を挙げた。
 即ち複数用いられるそれぞれのサーバ2(例えばサーバ2A,2B,2C,2D)に対して共通の字幕情報(字幕ファイルFL1、フォントファイルFL2)が画像ソース1から供給される。
 この場合、画像制作或いは画像提供者側は、それぞれのサーバ2に対応して字幕ファイルFL1やフォントファイルFL2を別々に作成する必要はない。従って字幕情報作成の手間が過剰となることがない。
 さらに、共通の字幕情報であるため、サーバ2を4台使用するシステム、9台使用するシステム、16台使用するシステムなどによっても共通の字幕情報を使用できる。これによりシステム構成の柔軟性を実現できるとともに、システム構成に応じた字幕情報を作成するという手間も生じない。
 第1,第3の実施の形態では、字幕情報取得部11は、字幕情報として、字幕文字列のテキストデータTX、字幕位置情報(字幕ファイルFL1における縦方向基準位置RP1、横方向基準位置RP2、縦方向オフセットOF1、横方向オフセットOF2)、及びフォントサイズFSの情報を含む字幕ファイルFL1として、他のサーバ2と同一内容の字幕ファイルを取得する例としている。
 字幕ファイルFL1の内容としては、具体的には字幕文字列のテキストデータ、字幕位置情報、及びフォント情報が、表示パネル3aの出力画像を基準として記述されている。各サーバ2(例えばサーバ2A,2B,2C,2D)は、このような表示パネルの全体画像の解像度を基準にした共通の字幕ファイルFL1を取得し、これを用いることで、全体画像の解像度での字幕のレンダリングを行うことができる。
 第1の実施の形態では、字幕処理部12は、表示パネル3aの全体画像の解像度に対応する記憶領域(ワークメモリ)を用いて、字幕のレンダリングを行い、担当領域を切り出すことで字幕画像TBMを生成する例を挙げた。
 複数用いられるそれぞれのサーバ2(例えばサーバ2A,2B,2C,2D)が、それぞれ表示パネル3aの全体画像の解像度(例えば8K4K)分のワークメモリを用いて字幕のレンダリングを行う。これにより、8K4Kサイズの解像度水準の字幕画像が生成でき、例えば4K2K対応のサーバ2であっても、字幕表示の品位を向上させることができる。特に文字の拡大や縮小といった処理を含まないので、文字が角張った表示とならず、きれいな文字表示ができる。
 第3の実施の形態では、字幕処理部12は、担当領域内の字幕部分を判定して、該字幕部分について、全体画像の解像度によるレンダリングを行って字幕画像を生成する例を挙げた。
 これによりサーバ2は、自身の担当領域(例えば4K2K)分を越えるようなワークメモリも必要とせずに対応できることから、サーバ2のメモリ領域負担も軽減される。そしてこの場合も文字の拡大や縮小といった処理を含まないので、文字が角張った表示とならず、高品位な文字画像生成ができる。
 また担当領域に配置される字幕部分のレンダリングを行うのみで処理負担も軽減される。
 また担当領域における字幕部分の判定や字幕開始位置SP等は共通の演算で可能であり、担当領域によってサーバ2のソフトウェアを変更するような必要もない。
 また表示する画の解像度(画面サイズ)が変わっても字幕ファイルは同じものを使用できる。
 第3の実施の形態では、字幕処理部12は、表示パネル3aの全体画像の解像度における字幕開始点SPと、表示パネルの全体画像の解像度でのフォントサイズ(ステップS110で決定するフォントサイズ)と、担当領域内の字幕開始位置SPtと、担当領域内の字幕部分の情報を用いて、担当領域分の画像サイズのレンダリングを行う例を挙げた(ステップS111,S122,S123参照)。
 サーバ2は、自身の担当領域における字幕の開始位置と字幕部分(字幕を構成する文字列のうちの担当領域内に配置される部分)が判定できることで、担当領域分の字幕画像のレンダリングが可能となる。
 第3の実施の形態では、字幕情報取得部11は、フォントサイズFSを含む字幕ファイルFL1を取得するとともに、表示パネル3aの全体画像情報CI1を取得する。そして字幕処理部12は、表示パネル3aの全体画像の解像度の情報と字幕ファイルFL1のフォントサイズFSを用いて、表示パネルの全体画像の解像度に応じた字幕のフォントサイズを決定するようにした(ステップS101,S102,S103,S106,S110参照)。
 字幕ファイルFL1にフォントサイズFSの情報として全体画像の解像度に対する割合の情報が存在することで、全体画像の解像度に応じたフォントサイズを求めることができ、システム構築された場合の全体画像の解像度に合わせた字幕レンダリングが可能となる。換言すれば、字幕レンダリング処理は表示パネル3aの全体画像の解像度にかかわらず柔軟に対応できる。
 第3の実施の形態では、字幕情報取得部11は、字幕情報として、字幕文字列のテキストデータTX、字幕位置情報(RP1,RP2,OF1,OF2)、及びフォントサイズFSを含む字幕ファイルFL1を取得するとともに、表示パネル3aの全体画像情報CI1及び担当領域情報CI2を取得する。そして字幕処理部12は、表示パネル3aの全体画像情報CI1と担当領域情報CI2、及び字幕ファイルFL1の字幕位置情報(RP1,RP2,OF1,OF2)を用いて、表示パネル3aの全体画像の解像度(例えば8K4K)に応じた字幕開始位置SP、及び担当領域での字幕開始位置SPtを決定する例を挙げた(ステップS120,S122参照)。
 これにより全体画像の解像度に合わせた字幕レンダリングであって自己の担当領域分の字幕レンダリングが可能となる。
 第3の実施の形態では、字幕処理部12は、字幕を構成する各文字のサイズを求め、担当領域での字幕開始位置SPtから、担当領域内の字幕部分のレンダリングを行うことで字幕画像を生成する例を挙げた(ステップS111,S123参照)。
 これにより全体画像の解像度に合わせた字幕レンダリングであっても自己の担当領域分のワークメモリ領域を用いた字幕レンダリングが可能となる。
 実施の形態のサーバ2は、合成部30で生成した担当領域分の字幕付き画像信号VDtを、表示パネル3aを有する表示装置3に出力する出力部31を備えている。
 この場合、各サーバ2はそれぞれ自己の担当領域の字幕付き画像信号VDtを表示装置3に供給することになり、表示装置3側でこれらが各表示領域に割り当てられて表示が行われる。これにより大画面でかつ文字品質のよい字幕付きの画像表示が実行される。
 実施の形態のサーバ2は、担当画像生成部22が、表示パネル全体で表示する画像内容の画像信号を取得し、その一部である担当領域の画像を切り出して拡大することで、担当領域分の画像内容の画像信号を生成する例を挙げた(図4参照)。
 各サーバ2がそれぞれ自己の担当領域の画像を切り出し及び拡大で生成することで、表示パネル3a上でより解像度の高い状態の大画面表示が行われるようにすることができる。
 実施の形態のサーバ2は、担当画像生成部22が、表示パネル全体で表示する画像内容のうちの担当領域のみの画像内容の画像信号を取得し、拡大することで、担当領域分の画像内容の画像信号を生成する例を挙げた(図5参照)。
 各サーバ2がそれぞれ自己の担当領域の画像を、入力画像を拡大して生成することで、表示パネル3a上でより解像度の高い状態の大画面表示が行われるようにすることができる。
 なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
 なお本技術は以下のような構成も採ることができる。
 (1)
 字幕情報を取得する字幕情報取得部と、
 前記字幕情報取得部で取得した字幕情報に基づき、表示パネルの全体画像の解像度で字幕をレンダリングし、前記表示パネルにおいて分割された複数の表示領域のうちの担当領域の字幕画像を生成する字幕処理部と、
 前記担当領域の画像信号を生成する担当画像生成部と、
 前記字幕処理部で生成した字幕画像と、前記担当画像生成部で生成した画像信号を合成して字幕付き画像信号を生成する合成部と、を備えた
 画像処理装置。
 (2)
 前記字幕情報取得部は、他の表示領域を担当する画像処理装置の字幕情報取得部と共通の字幕情報を取得する
 上記(1)に記載の画像処理装置。
 (3)
 前記字幕情報取得部は、前記字幕情報として、字幕文字列のテキストデータ、字幕位置情報、及びフォントサイズ情報を含む字幕ファイルであって、他の表示領域を担当する画像処理装置の字幕情報取得部と同一内容の字幕ファイルを取得する
 上記(1)又は(2)に記載の画像処理装置。
 (4)
 前記字幕処理部は、表示パネルの全体画像の解像度に対応する記憶領域を用いて、字幕のレンダリングを行い、担当領域を切り出すことで字幕画像を生成する
 上記(1)から(3)のいずれかに記載の画像処理装置。
 (5)
 前記字幕処理部は、担当領域内の字幕部分を判定して、該字幕部分について、全体画像の解像度によるレンダリングを行って字幕画像を生成する
 上記(1)から(3)のいずれかに記載の画像処理装置。
 (6)
 前記字幕処理部は、
 表示パネルの全体画像の解像度における字幕開始点と、表示パネルの全体画像の解像度でのフォントサイズと、前記担当領域内の字幕開始位置と、前記担当領域内の字幕部分の情報を用いて、前記担当領域分の画像サイズのレンダリングを行う
 上記(5)に記載の画像処理装置。
 (7)
 前記字幕情報取得部は、前記字幕情報として、フォントサイズ情報を含む字幕ファイルを取得するとともに、表示パネルの全体画像の解像度の情報を取得し、
 前記字幕処理部は、表示パネルの全体画像の解像度の情報と前記字幕ファイルのフォントサイズの情報を用いて、表示パネルの全体画像の解像度に応じた字幕のフォントサイズを決定する
 上記(5)又は(6)に記載の画像処理装置。
 (8)
 前記字幕情報取得部は、前記字幕情報として、字幕文字列のテキストデータ、字幕位置情報、及びフォントサイズ情報を含む字幕ファイルを取得するとともに、表示パネルの全体画像の解像度の情報及び前記担当領域の情報を取得し、
 前記字幕処理部は、表示パネルの全体画像の解像度の情報と前記担当領域の情報、及び前記字幕ファイルの字幕位置情報を用いて、表示パネルの全体画像の解像度に応じた字幕開始位置、及び前記担当領域での字幕開始位置を決定する
 上記(5)から(7)のいずれかに記載の画像処理装置。
 (9)
 前記字幕処理部は、字幕を構成する各文字のサイズを求め、前記担当領域での字幕開始位置から、前記担当領域内の字幕部分のレンダリングを行うことで字幕画像を生成する
 上記(5)から(8)のいずれかに記載の画像処理装置。
 (10)
 前記合成部で生成した担当領域分の字幕付き画像信号を、表示パネルを有する表示装置に出力する出力部を備える
 上記(1)から(9)のいずれかに記載の画像処理装置。
 (11)
 前記担当画像生成部は、表示パネル全体で表示する画像内容の画像信号を取得し、その一部である担当領域の画像を切り出して拡大することで、担当領域分の画像内容の画像信号を生成する
 上記(1)から(10)のいずれかに記載の画像処理装置。
 (12)
 前記担当画像生成部は、表示パネル全体で表示する画像内容のうちの担当領域のみの画像内容の画像信号を取得し、拡大することで、担当領域分の画像内容の画像信号を生成する
 上記(1)から(10)のいずれかに記載の画像処理装置。
 (13)
 字幕情報を取得し、
 取得した字幕情報に基づき、表示パネルの全体画像の解像度で字幕をレンダリングして、前記表示パネルにおいて分割された複数の表示領域のうちの担当領域の字幕画像を生成し、
 前記担当領域の画像信号を生成し、
 前記担当領域の画像信号と、前記担当領域の字幕画像を合成して字幕付き画像信号を生成する
 画像処理方法。
 (14)
 複数の表示領域に分割され、各表示領域に対しては、それぞれ1の表示領域が担当領域として割り当てられた複数の画像処理装置から字幕付き画像信号が供給されることで画像表示を行うようにされる表示パネルを有し、
 前記画像処理装置は、
 字幕情報を取得する字幕情報取得部と、
 前記字幕情報取得部で取得した字幕情報に基づき、表示パネルの全体画像の解像度で字幕をレンダリングし、前記表示パネルにおいて分割された複数の表示領域のうちの担当領域の字幕画像を生成する字幕処理部と、
 前記担当領域の画像信号を生成する担当画像生成部と、
 前記字幕処理部で生成した字幕画像と、前記担当画像生成部で生成した画像信号を合成して字幕付き画像信号を生成する合成部と、を備えたものである
 表示装置。
 1 画像ソース、2,2A,2B,2C,2D サーバ、3 表示装置、3a 表示パネル、4 コントローラ、11 字幕情報取得部、12 字幕処理部、21 画像取得部、22 担当画像生成部、30 合成部、31 出力部、TBM 字幕ビットマップデータ、VD 画像信号、VDt 字幕付き画像信号、FL0 画像ファイル、FL1 字幕ファイル、FL2 フォントファイル

Claims (14)

  1.  字幕情報を取得する字幕情報取得部と、
     前記字幕情報取得部で取得した字幕情報に基づき、表示パネルの全体画像の解像度で字幕をレンダリングし、前記表示パネルにおいて分割された複数の表示領域のうちの担当領域の字幕画像を生成する字幕処理部と、
     前記担当領域の画像信号を生成する担当画像生成部と、
     前記字幕処理部で生成した字幕画像と、前記担当画像生成部で生成した画像信号を合成して字幕付き画像信号を生成する合成部と、を備えた
     画像処理装置。
  2.  前記字幕情報取得部は、他の表示領域を担当する画像処理装置の字幕情報取得部と共通の字幕情報を取得する
     請求項1に記載の画像処理装置。
  3.  前記字幕情報取得部は、前記字幕情報として、字幕文字列のテキストデータ、字幕位置情報、及びフォントサイズ情報を含む字幕ファイルであって、他の表示領域を担当する画像処理装置の字幕情報取得部と同一内容の字幕ファイルを取得する
     請求項1に記載の画像処理装置。
  4.  前記字幕処理部は、表示パネルの全体画像の解像度に対応する記憶領域を用いて、字幕のレンダリングを行い、担当領域を切り出すことで字幕画像を生成する
     請求項1に記載の画像処理装置。
  5.  前記字幕処理部は、担当領域内の字幕部分を判定して、該字幕部分について、全体画像の解像度によるレンダリングを行って字幕画像を生成する
     請求項1に記載の画像処理装置。
  6.  前記字幕処理部は、
     表示パネルの全体画像の解像度における字幕開始点と、表示パネルの全体画像の解像度でのフォントサイズと、前記担当領域内の字幕開始位置と、前記担当領域内の字幕部分の情報を用いて、前記担当領域分の画像サイズのレンダリングを行う
     請求項5に記載の画像処理装置。
  7.  前記字幕情報取得部は、前記字幕情報として、フォントサイズ情報を含む字幕ファイルを取得するとともに、表示パネルの全体画像の解像度の情報を取得し、
     前記字幕処理部は、表示パネルの全体画像の解像度の情報と前記字幕ファイルのフォントサイズの情報を用いて、表示パネルの全体画像の解像度に応じた字幕のフォントサイズを決定する
     請求項5に記載の画像処理装置。
  8.  前記字幕情報取得部は、前記字幕情報として、字幕文字列のテキストデータ、字幕位置情報、及びフォントサイズ情報を含む字幕ファイルを取得するとともに、表示パネルの全体画像の解像度の情報及び前記担当領域の情報を取得し、
     前記字幕処理部は、表示パネルの全体画像の解像度の情報と前記担当領域の情報、及び前記字幕ファイルの字幕位置情報を用いて、表示パネルの全体画像の解像度に応じた字幕開始位置、及び前記担当領域での字幕開始位置を決定する
     請求項5に記載の画像処理装置。
  9.  前記字幕処理部は、字幕を構成する各文字のサイズを求め、前記担当領域での字幕開始位置から、前記担当領域内の字幕部分のレンダリングを行うことで字幕画像を生成する
     請求項5に記載の画像処理装置。
  10.  前記合成部で生成した担当領域分の字幕付き画像信号を、表示パネルを有する表示装置に出力する出力部を備える
     請求項1に記載の画像処理装置。
  11.  前記担当画像生成部は、表示パネル全体で表示する画像内容の画像信号を取得し、その一部である担当領域の画像を切り出して拡大することで、担当領域分の画像内容の画像信号を生成する
     請求項1に記載の画像処理装置。
  12.  前記担当画像生成部は、表示パネル全体で表示する画像内容のうちの担当領域のみの画像内容の画像信号を取得し、拡大することで、担当領域分の画像内容の画像信号を生成する
     請求項1に記載の画像処理装置。
  13.  字幕情報を取得し、
     取得した字幕情報に基づき、表示パネルの全体画像の解像度で字幕をレンダリングして、前記表示パネルにおいて分割された複数の表示領域のうちの担当領域の字幕画像を生成し、
     前記担当領域の画像信号を生成し、
     前記担当領域の画像信号と、前記担当領域の字幕画像を合成して字幕付き画像信号を生成する
     画像処理方法。
  14.  複数の表示領域に分割され、各表示領域に対しては、それぞれ1の表示領域が担当領域として割り当てられた複数の画像処理装置から字幕付き画像信号が供給されることで画像表示を行うようにされる表示パネルを有し、
     前記画像処理装置は、
     字幕情報を取得する字幕情報取得部と、
     前記字幕情報取得部で取得した字幕情報に基づき、表示パネルの全体画像の解像度で字幕をレンダリングし、前記表示パネルにおいて分割された複数の表示領域のうちの担当領域の字幕画像を生成する字幕処理部と、
     前記担当領域の画像信号を生成する担当画像生成部と、
     前記字幕処理部で生成した字幕画像と、前記担当画像生成部で生成した画像信号を合成して字幕付き画像信号を生成する合成部と、を備えたものである
     表示装置。
PCT/JP2020/003883 2019-03-25 2020-02-03 画像処理装置、画像処理方法、表示装置 WO2020195169A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/439,196 US20220159346A1 (en) 2019-03-25 2020-02-03 Image processing device, image processing method, and display device
CN202080022488.1A CN113597640A (zh) 2019-03-25 2020-02-03 图像处理设备、图像处理方法和显示设备
EP20778879.5A EP3951767A4 (en) 2019-03-25 2020-02-03 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND DISPLAY DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019056050 2019-03-25
JP2019-056050 2019-03-25

Publications (1)

Publication Number Publication Date
WO2020195169A1 true WO2020195169A1 (ja) 2020-10-01

Family

ID=72610180

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003883 WO2020195169A1 (ja) 2019-03-25 2020-02-03 画像処理装置、画像処理方法、表示装置

Country Status (5)

Country Link
US (1) US20220159346A1 (ja)
EP (1) EP3951767A4 (ja)
CN (1) CN113597640A (ja)
TW (1) TW202103490A (ja)
WO (1) WO2020195169A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023029049A1 (zh) * 2021-09-06 2023-03-09 深圳市大疆创新科技有限公司 字幕切换方法、终端设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013171054A (ja) * 2012-02-17 2013-09-02 Jvc Kenwood Corp 表示制御装置及び表示制御方法
JP2018037765A (ja) * 2016-08-30 2018-03-08 パナソニックIpマネジメント株式会社 映像信号処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261721A (ja) * 1994-03-18 1995-10-13 Fujitsu General Ltd マルチ映像システム
WO2007064987A2 (en) * 2005-12-04 2007-06-07 Turner Broadcasting System, Inc. (Tbs, Inc.) System and method for delivering video and audio content over a network
WO2009000334A1 (en) * 2007-06-27 2008-12-31 International Business Machines Corporation System and method for providing a composite display
WO2010041457A1 (ja) * 2008-10-10 2010-04-15 パナソニック株式会社 映像出力装置及び映像出力方法
JP5559716B2 (ja) * 2011-02-01 2014-07-23 シャープ株式会社 マルチディスプレイシステム
JP6881303B2 (ja) * 2015-06-30 2021-06-02 ソニーグループ株式会社 受信装置、受信方法、送信装置および送信方法
WO2017006948A1 (ja) * 2015-07-09 2017-01-12 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
CN105554589A (zh) * 2015-12-14 2016-05-04 武汉兴图新科电子股份有限公司 一种后端显示的字幕叠加方法
JP2018059980A (ja) * 2016-10-03 2018-04-12 パナソニックIpマネジメント株式会社 マルチディスプレイ装置
US10643298B2 (en) * 2018-02-14 2020-05-05 Realtek Semiconductor Corporation Video processing system and processing chip

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013171054A (ja) * 2012-02-17 2013-09-02 Jvc Kenwood Corp 表示制御装置及び表示制御方法
JP2018037765A (ja) * 2016-08-30 2018-03-08 パナソニックIpマネジメント株式会社 映像信号処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3951767A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023029049A1 (zh) * 2021-09-06 2023-03-09 深圳市大疆创新科技有限公司 字幕切换方法、终端设备及存储介质

Also Published As

Publication number Publication date
TW202103490A (zh) 2021-01-16
EP3951767A1 (en) 2022-02-09
EP3951767A4 (en) 2022-05-11
CN113597640A (zh) 2021-11-02
US20220159346A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
JP4043518B2 (ja) 一定のフレーム・レートで複雑なグラフィック・イメージを生成し表示するシステムおよび方法
EP1460848B1 (en) Apparatus and method for converting multimedia contents
CN101644998A (zh) 多屏显示装置及显示装置
JPH03113578A (ja) 図形出力処理方式
JP2007271908A (ja) マルチ画像生成装置
CN112583821A (zh) 显示方法、显示系统、电子设备和计算机可读存储介质
WO2020195169A1 (ja) 画像処理装置、画像処理方法、表示装置
EP1528512A2 (en) Graphic decoder, image reproduction apparatus and method for graphic display acceleration based on commands
KR20050040712A (ko) 명령어 기반 그래픽 출력 가속 기능이 포함된 2차원그래픽 디코더, 그 그래픽 출력 가속 방법 및 영상 재생장치
JP2007121378A (ja) 映像表示装置
JP5520890B2 (ja) 画像処理装置、画像データ生成装置、画像処理方法、画像データ生成方法、および画像ファイルのデータ構造
JP2011113381A (ja) 画像表示方法及びその装置、並びにスクロール表示用画像データの生成方法、記録媒体
JP2017097120A (ja) 表示制御装置、マルチディスプレイシステム、およびマルチディスプレイシステムの表示方法
JP4640587B2 (ja) 映像表示装置、映像処理装置並びに映像処理方法
JP2005189663A (ja) マルチレイヤ画像合成装置
JP2002229767A (ja) 動画像再生方法及び装置
JPH0950437A (ja) マルチメディア情報再生装置およびマルチメディア情報記録装置
JP2010204782A (ja) 画像処理装置、画像処理方法およびデータ構造
JPH0736437A (ja) 画像データ処理装置
JP2008152626A (ja) 画像生成装置及び画像生成システム
JP2001324976A (ja) 情報表示システム
Schohn et al. CENTAUR: A two-panel user interface for mobile document access
JP2002055674A (ja) 拡大表示時の拡大エリア表示方法
TH36214B (th) วิธีการและระบบสำหรับการประมวลผลสัญญาณวิดีโอหลายสัญญาณที่รวมกันในรูปแบบการแสดงบนจอภาพ
JPH05334285A (ja) 文書作成装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20778879

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020778879

Country of ref document: EP

Effective date: 20211025

NENP Non-entry into the national phase

Ref country code: JP