WO2021235138A1 - 映像処理装置、映像処理方法、映像生成装置、映像生成方法およびプログラム - Google Patents

映像処理装置、映像処理方法、映像生成装置、映像生成方法およびプログラム Download PDF

Info

Publication number
WO2021235138A1
WO2021235138A1 PCT/JP2021/015159 JP2021015159W WO2021235138A1 WO 2021235138 A1 WO2021235138 A1 WO 2021235138A1 JP 2021015159 W JP2021015159 W JP 2021015159W WO 2021235138 A1 WO2021235138 A1 WO 2021235138A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
frequency band
band
sharpness gain
unit
Prior art date
Application number
PCT/JP2021/015159
Other languages
English (en)
French (fr)
Inventor
正博 高鳥
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to US17/795,757 priority Critical patent/US11785173B2/en
Priority to EP21808948.0A priority patent/EP4156170A4/en
Priority to JP2022524328A priority patent/JPWO2021235138A1/ja
Publication of WO2021235138A1 publication Critical patent/WO2021235138A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2352/00—Parallel handling of streams of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring

Definitions

  • the present disclosure relates to a video processing device, a video processing method and a program for adjusting the sharpness gain of a video, or a video generation device, a video generation method and a program for generating video data including metadata.
  • Patent Document 1 describes a video processing device that enhances edges by reducing the shoot component as the ratio of pixels having a predetermined first or higher luminance difference between adjacent pixels of each pixel constituting the video frame is larger. It has been disclosed.
  • the present disclosure provides a video processing device that can suppress noise amplification by increasing the sharpness gain.
  • the video processing apparatus includes an acquisition unit for acquiring video data including metadata indicating a video and a first frequency band which is a spatial frequency band in which the video exists, and the acquisition unit.
  • the sharpness gain of the first region belonging to the first frequency band indicated by the metadata is out of the first frequency band.
  • An adjustment unit that adjusts the sharpness gain of the image so that the sharpness gain of the second region belonging to the second frequency band, which is the band of, is small, and an output unit that outputs the adjusted image adjusted by the adjustment unit.
  • the video processing method is a video processing method performed by a video processing device that adjusts the sharpness gain of the video, in the video and the spatial frequency band in which the video exists.
  • Video data including metadata indicating a certain first frequency band is acquired, and among a plurality of regions constituting the video included in the acquired video data, it belongs to the first frequency band indicated by the metadata.
  • the sharpness gain of the image is adjusted so that the sharpness gain of the second region belonging to the second frequency band, which is a band outside the first frequency band, is smaller than the sharpness gain of the first region, and the adjusted image. Is output.
  • the image generation device shows a specific unit for specifying a first frequency band, which is a spatial frequency band in which an image exists, the image, and the specified first frequency band. It includes a generation unit that generates video data including metadata, and an output unit that outputs the generated video data.
  • the video generation method is a video generation method performed by a video generation device that generates video data including metadata, and is a first spatial frequency band in which video exists. A frequency band is specified, video data including the video and metadata indicating the specified first frequency band is generated, and the generated video data is output.
  • non-temporary recording medium such as a system, integrated circuit, computer program or computer readable CD-ROM, system, integrated circuit, computer program. And may be realized by any combination of non-temporary recording media.
  • the video processing device and the like in the present disclosure can suppress noise amplification by increasing the sharpness gain.
  • FIG. 1 is a diagram showing an outline of a video system according to the present embodiment.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the information processing apparatus according to the present embodiment.
  • FIG. 3 is a block diagram showing an example of the hardware configuration of the display device according to the present embodiment.
  • FIG. 4 is a block diagram showing an example of the configuration of the distribution side device according to the present embodiment.
  • FIG. 5 is a diagram showing the distribution of a plurality of frequency-divided regions of the video according to the present embodiment.
  • FIG. 6 is a block diagram showing an example of the functional configuration of the display device according to the present embodiment.
  • FIG. 7 is a block diagram showing an example of a detailed configuration of the extraction unit.
  • FIG. 1 is a diagram showing an outline of a video system according to the present embodiment.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the information processing apparatus according to the present embodiment.
  • FIG. 3 is a block diagram showing an example of the hardware configuration
  • FIG. 8 is a diagram for explaining a plurality of frequency-divided regions.
  • FIG. 9 is a diagram for defining a plurality of regions divided in the horizontal frequency band.
  • FIG. 10 is a diagram for defining a plurality of regions divided in the vertical frequency band.
  • FIG. 11 is a histogram showing the number of pixels belonging to each region of the column of the region V2 in the vertical direction.
  • FIG. 12 is a graph showing a first offset curve of sharpness gain corresponding to each region of the column of regions V2 in the vertical direction.
  • FIG. 13 is a table showing offset values of sharpness gain corresponding to each region.
  • FIG. 14 is a block diagram showing an example of a detailed configuration of the first correction unit.
  • FIG. 15 is a block diagram showing an example of a detailed configuration of the detection unit.
  • FIG. 16 is a diagram showing a detail threshold value for determining the type of a region constituting an image.
  • FIG. 17 is a diagram showing an example of a determination result of a region type.
  • FIG. 18 is a graph showing the second offset curve.
  • FIG. 19 is a table showing an example of detail set data.
  • FIG. 20 is a block diagram showing an example of a detailed configuration of the second correction unit.
  • FIG. 21 is a flowchart of a video generation method by the distribution side device.
  • FIG. 22 is a flowchart of a video processing method using a display device.
  • FIG. 23 is a flowchart of the process of adjusting the sharpness gain.
  • FIG. 21 is a flowchart of a video generation method by the distribution side device.
  • FIG. 22 is a flowchart of a video processing method using a display device.
  • FIG. 23 is a flowchart
  • FIG. 24 is a flowchart of the first calculation.
  • FIG. 25 is a flowchart of the second offset value calculation process.
  • FIG. 26 is a flowchart of the second calculation.
  • FIG. 27 is a flowchart of a process for adjusting the sharpness gain of video data.
  • the video processing device acquires the video data generated on the distribution side and performs processing to increase the sharpness gain on the video data obtained by decoding the acquired video data. Since the video processing device acquires video data via, for example, a predetermined transmission means, noise may be included in the acquired video data due to the influence of the predetermined transmission means. Further, the video data decoded by the video processing device may include noise generated during coding by the distribution side device or noise generated during decoding by the video processing device. In this way, the video finally output for display may generate noise between the time when the video obtained by shooting is encoded by the distribution side device and the time when the video is decoded by the video processing device. be. In this case, since the video data contains noise, the video processing device emphasizes the outline of the noise contained in the video data when the video data obtained by decoding is processed to increase the sharpness gain. This may make the noise more noticeable.
  • the present disclosure provides a video processing device that can suppress noise amplification by increasing the sharpness gain.
  • the video processing apparatus includes an acquisition unit for acquiring video data including metadata indicating a video and a first frequency band which is a spatial frequency band in which the video exists, and the acquisition unit.
  • the sharpness gain of the first region belonging to the first frequency band indicated by the metadata is out of the first frequency band.
  • An adjustment unit that adjusts the sharpness gain of the image so that the sharpness gain of the second region belonging to the second frequency band, which is the band of, is small, and an output unit that outputs the adjusted image adjusted by the adjustment unit.
  • the sharpness gain of the video data can be adjusted so that the sharpness gain of the second region belonging to the second frequency band does not become higher than that of the first region. Therefore, when the process of increasing the sharpness gain is performed, the noise belonging to the second frequency band generated between the time when the image obtained by shooting is encoded by the distribution side device and the time when the image is decoded by the image processing device is generated. It is possible to suppress amplification more than in the first region. Therefore, it is possible to reduce the noise from being more noticeable than other images by performing the process of improving the sharpness gain.
  • the second frequency band may be included in a band lower than the lowest frequency defining the first frequency band or a band higher than the highest frequency defining the first frequency band.
  • the sharpness gain of the second region belonging to the second frequency band included in the band lower than the lowest frequency defining the first frequency band or higher than the highest frequency defining the first frequency band is the first.
  • the sharpness gain of the video data can be adjusted so that it does not rise above the area.
  • the adjusting unit may adjust the sharpness gain of the image by adding a first offset value which is a value equal to or less than the first threshold value to the sharpness gain of the second region.
  • the sharpness gain of the video data can be adjusted so that the sharpness gain of the second region belonging to the second frequency band in which the video does not exist does not increase or decreases. Therefore, when the process of increasing the sharpness gain is performed, the noise belonging to the second frequency band generated between the time when the image obtained by shooting is encoded by the distribution side device and the time when the image is decoded by the image processing device is generated. Amplification can be suppressed. In particular, since noise is often contained in a frequency band higher than a predetermined frequency, the sharpness gain of the video data is adjusted so that the sharpness gain of the second region belonging to the second frequency band does not increase or decreases. By doing so, it is possible to more effectively suppress the deterioration of the image quality due to noise.
  • the adjusting unit may adjust the sharpness gain of the image by adding a second offset value which is a value larger than the first threshold value to the sharpness gain of the first region.
  • the sharpness gain in the first region where the image exists can be improved, so that the image quality can be effectively improved.
  • the first frequency band includes a plurality of bands different from each other
  • the second offset value includes a plurality of third offset values corresponding to the plurality of bands
  • the adjusting unit includes the plurality of bands.
  • the number of pixels belonging to the band may be counted for each, and the plurality of third offset values may be determined so that the larger the number of pixels belonging to the plurality of bands, the larger the value.
  • the first threshold value may be 0.
  • the adjusting unit further calculates the maximum difference for each of the plurality of pixels in the video based on the pixel values of the plurality of pixels having a predetermined width in the horizontal direction or the vertical direction with respect to the pixel.
  • the fourth offset value to be further added to the sharpness gain in the first pixel in which the maximum difference within the predetermined range is calculated is further added to the sharpness gain in the second pixel in which the maximum difference outside the predetermined range is calculated.
  • the sharpness gain of the image may be adjusted so that the fifth offset value is reduced.
  • the sharpness gain can be adjusted so that the sharpness gain in the first pixel is higher than the sharpness gain in the second pixel, the image quality is effectively improved. be able to.
  • the maximum difference within the predetermined range may be a value smaller than the maximum difference outside the predetermined range or a value larger than the maximum difference outside the predetermined range.
  • the fourth offset value is a value larger than 0, and the fifth offset value may be 0.
  • the video processing method is a video processing method performed by a video processing device that adjusts the sharpness gain of the video, in the video and the spatial frequency band in which the video exists.
  • Video data including metadata indicating a certain first frequency band is acquired, and among a plurality of regions constituting the video included in the acquired video data, it belongs to the first frequency band indicated by the metadata.
  • the sharpness gain of the image is adjusted so that the sharpness gain of the second region belonging to the second frequency band, which is a band outside the first frequency band, is smaller than the sharpness gain of the first region, and the adjusted image. Is output.
  • the sharpness gain of the video data can be adjusted so that the sharpness gain of the second region belonging to the second frequency band in which the video does not exist is higher than that of the first region. Therefore, when the process of increasing the sharpness gain is performed, the noise belonging to the second frequency band generated between the time when the image obtained by shooting is encoded by the distribution side device and the time when the image is decoded by the image processing device is generated. It is possible to suppress amplification more than in the first region. Therefore, it is possible to reduce the noise from being more noticeable than other images by performing the process of improving the sharpness gain.
  • the image generation device shows a specific unit for specifying a first frequency band, which is a spatial frequency band in which an image exists, the image, and the specified first frequency band. It includes a generation unit that generates video data including metadata, and an output unit that outputs the generated video data.
  • the video processing device since the video data including the metadata indicating the first frequency band is output, the video processing device that has received the video data easily performs a process of suppressing noise amplification by increasing the sharpness gain. be able to.
  • the video generation method is a video generation method performed by a video generation device that generates video data including metadata, and is a first spatial frequency band in which video exists. A frequency band is specified, video data including the video and metadata indicating the specified first frequency band is generated, and the generated video data is output.
  • the video processing device since the video data including the metadata indicating the first frequency band is output, the video processing device that has received the video data easily performs a process of suppressing noise amplification by increasing the sharpness gain. be able to.
  • non-temporary recording medium such as a system, integrated circuit, computer program or computer readable CD-ROM, system, integrated circuit, computer program. And may be realized by any combination of non-temporary recording media.
  • FIG. 1 is a diagram showing an outline of a video system according to the present embodiment.
  • the video system 1 includes a distribution side device 200 for distributing distribution data and a display device 100 for receiving the distributed distribution data.
  • the distribution side device 200 is composed of a camera 201 and an information processing device 202.
  • the information processing device 202 converts the image captured by the camera 201 such as a video camera into distribution data for transmission to the display device 100, and transmits the distribution data to the display device 100 via the transmission means.
  • the distribution data may be encoded data in which the video data is compressed (encoded), or may be encoded data generated by multiplexing the video data and the audio data after being compressed. May be good.
  • the transmission means is a means for transmitting a broadcast wave according to a predetermined television broadcasting standard, a means for delivering to a network such as the Internet with a predetermined communication protocol, or a recording on a predetermined package medium.
  • a predetermined television broadcasting standard a means for delivering to a network such as the Internet with a predetermined communication protocol, or a recording on a predetermined package medium.
  • it is a means for selling the predetermined package media.
  • a means for transmitting a broadcast wave according to a predetermined television broadcasting standard is used as a transmission means will be described as an example.
  • the display device 100 receives the distribution data and displays the video indicated by the video data included in the received distribution data.
  • the display device 100 has the appearance of a general flat panel display in which a display device including a display panel is housed in a housing.
  • the display device 100 is, for example, a liquid crystal display, an organic EL display, or the like.
  • the display device 100 is an example of a video processing device.
  • the information processing device 202 is an example of a video generation device.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 202 has a processor 203, a main memory 204, a storage 205, a communication IF (Interface) 206, an input IF (Interface) 207, and a display 208 as hardware configurations. To prepare for.
  • the processor 203 is a processor that executes a program stored in the storage 205 or the like.
  • the main memory 204 is a volatile storage area used as a work area used by the processor 203 when executing a program.
  • the storage 205 is a non-volatile storage area that holds various data such as programs.
  • the communication IF 206 is a communication interface for transmitting data to and from an external device such as a camera 201.
  • the communication IF 206 may be an interface for wireless communication such as a wireless LAN interface and a Bluetooth® interface.
  • the communication IF 206 may be an interface for wired communication such as USB (Universal Serial Bus) and a wired LAN interface.
  • the communication IF 206 is not limited to the above, and may be a communication interface for transmitting data to and from an external device via a communication network. Further, the communication IF 206 may be a reader that reads data stored in the recording medium from a recording medium such as a memory card.
  • the information processing device 202 is communication-connected to the camera 201 in the communication IF 206, and acquires video data from the camera 201 via the communication IF 206.
  • the input IF207 is an interface for accepting input from a person.
  • the input IF 207 may be a pointing device such as a mouse, a touch pad, a touch panel, or a trackball, or may be a keyboard.
  • the display 208 is a master monitor that displays the video indicated by the video data in order to master the video data.
  • the display 208 is a liquid crystal display, an organic EL display, or the like.
  • FIG. 3 is a block diagram showing an example of the hardware configuration of the display device according to the present embodiment.
  • the display device 100 includes a tuner 101, a decoder 102, a control circuit 103, a memory 104, and a display device 105.
  • the tuner 101 converts an analog signal constituting a broadcast wave received by an antenna (not shown) into coded data which is a digital signal, and outputs the coded data obtained by the conversion to the decoder 102.
  • the decoder 102 decodes the coded data acquired from the tuner 101, and outputs the video data obtained by decoding to the control circuit 103.
  • the decoder 102 demultiplexes the coded data to obtain the coded data for video and the coded data for audio, respectively, as video data and audio data. It may be decrypted to.
  • the decoder 102 may acquire metadata which is additional data of the video data together with the video data from the tuner 101 and decode it.
  • the decoded metadata is once written in the memory 104 by the control circuit 103 described later.
  • the metadata is added to the video data in advance by the distribution side device 200 and transmitted.
  • the control circuit 103 performs video processing on the video data output by the decoder 102 according to the metadata.
  • the control circuit 103 outputs the video obtained by performing the video processing to the display device 105.
  • the display device 105 can display an image that matches the characteristics and metadata of the display device 105.
  • the decoder 102 and the control circuit 103 may be realized by the same circuit.
  • the control circuit 103 may be realized by a general-purpose processor such as a CPU that executes a predetermined program, or may be realized by a dedicated circuit. That is, the function of the display device 100, which will be described later, may be realized by software or hardware.
  • the memory 104 may store the control program.
  • the memory 104 is, for example, a non-volatile memory.
  • the display device 105 displays the image output by the control circuit 103.
  • the display device 105 is a display panel, and is composed of, for example, a liquid crystal panel, an organic EL panel, or the like.
  • FIG. 4 is a block diagram showing an example of the functional configuration of the distribution side device according to the present embodiment.
  • the distribution side device 200 includes a capture unit 210, a mastering unit 220, a frequency conversion unit 230, and an encoder 240.
  • the capture unit 210 acquires the video data of the subject taken by the camera 201 and outputs the acquired video data.
  • the capture unit 210 is realized by, for example, a camera 201 and a communication IF 206 connected to the camera 201.
  • the mastering unit 220 sets MAX CF (maximum video horizontal frequency or maximum video vertical frequency) or MIN CF (minimum video horizontal frequency or minimum video vertical frequency) according to the input from the creator, and the set MAX CF. And / or generate video data showing video according to MIN CF.
  • the mastering unit 220 displays the video data obtained from the capture unit 210 on the master monitor, and displays the video so as to be the MAX CF and the MIN CF intended by the creator in response to the input from the creator of the video.
  • master data which is video data indicating the video for distribution, is generated.
  • the mastering unit 220 has a frequency component outside the above range with respect to the video data so that the frequency component included in the video data is within the range from MIN CF to MAX CF set according to the input. Master data may be generated by performing a filtering process that cuts the frequency. Further, the mastering unit 220 may set the minimum frequency of the horizontal frequency components included in the video data to MIN CHF and set the maximum frequency of the horizontal frequency components to MAX CHF. Similarly, the mastering unit 220 may set the minimum frequency of the vertical frequency components included in the video data to MIN CVF and set the maximum frequency of the vertical frequency components to MAX CVF.
  • the mastering unit 220 identifies the MAX CHF, MAX CVF, MIN CHF, and MIN CVF obtained by setting the frequency as an effective frequency band in which the video exists.
  • the valid frequency band is an example of the first frequency band.
  • the mastering unit 220 may set MAX CF and MIN CF so as to filter for a frequency band in which video does not exist (eg, HHLL, HHLH, HHHL, HHHH).
  • a frequency band in which video does not exist eg, HHLL, HHLH, HHHL, HHHH.
  • the frequency band in which the video does not exist is, for example, a plurality of frequency-divisioned bands (for example, four in the horizontal direction and four in the vertical direction, for a total of 16 bands). It is set according to the input made by the creator while checking the distribution.
  • the mastering unit 220 may set MAX CHF to 0.75, MAX CVF to 1.00, MIN CHF to 0, and MIN CVF to 0.25.
  • MAX CHF is MAX CF in the horizontal direction
  • MAX CVF is MAX CF in the vertical direction
  • MIN CHF is MIN CF in the horizontal direction
  • MIN CVF is MIN CF in the vertical direction.
  • a MAX CHF of 1.00 indicates that it is 1/2 of the horizontal clock frequency of the video data. Further, the fact that MAX CVF is 1.00 indicates that it is 1/2 of the vertical clock frequency of the video data.
  • the mastering unit 220 may frequency-divide the video and then frequency-synthesize the video in a plurality of frequency-divided bands. Further, the mastering unit 220 may filter all or a part of the video of the plurality of frequency-divided bands and frequency-synthesize the plurality of filtered video. In addition, a part of the images is n images (n is a natural number) among the images of a plurality of bands. For example, the mastering unit 220 performs filtering processing to cut the band or lowers the gain of the band as a filter of LLLL, LHLL, HLLL, HHLH, HHHL, and HHHH among the images of a plurality of frequency-divided bands. Filtering processing may be performed.
  • each of the frequency bands is indicated by a 4-digit character of a combination of L and H.
  • the first two-digit characters indicate the horizontal frequency band
  • the latter two-digit characters indicate the vertical frequency band.
  • the two-digit character in each direction indicates, for example, a band having a higher frequency in the order of LL, LH, HL, HH.
  • the frequency band is not limited to being divided into a total of 16 bands of 4 in the horizontal direction and 4 in the vertical direction, and 3 in the horizontal direction and 3 in the vertical direction, for a total of 9 It may be divided into individual bands. Further, the number divided in the horizontal direction and the number divided in the vertical direction may be equal to or different from each other.
  • the mastering unit 220 determines MAX CHF, MAX CVF, MIN CHF, and MIN CVF, but since it is sufficient that the frequency band including the video is shown, MAX CHF, MAX CVF, MIN CHF, And, at least one of MIN CVF may be determined.
  • the mastering unit 220 displays the image of the video data obtained from the capture unit 210 on the master monitor, and displays the image with the brightness and color tone intended by the creator in response to the input from the creator of the video.
  • master data which is video data indicating the video for distribution, may be generated.
  • the mastering unit 220 is realized by, for example, the processor 203, the main memory 204, and the storage 205 of the information processing apparatus 202.
  • the mastering unit 220 is realized by the processor 203 executing the program stored in the storage 205 by using the main memory 204.
  • the frequency conversion unit 230 frequency-divides the video of the video data adjusted by the mastering unit 220, and returns the video data of the video frequency-divided into a plurality of bands to the mastering unit 220.
  • the frequency conversion unit 230 may divide the video into frequencies by using, for example, a discrete cosine transform (DCT), a discrete wavelet transform (DWT), or the like.
  • the frequency conversion unit 230 is realized by, for example, the processor 203, the main memory 204, and the storage 205 of the information processing apparatus 202.
  • the frequency conversion unit 230 is realized by the processor 203 executing the program stored in the storage 205 by using the main memory 204.
  • the encoder 240 generates video data by encoding the master data generated in the mastering unit 220 and at least one of MAX CHF, MAX CVF, MIN CHF, and MIN CVF.
  • MAX CHF, MAX CVF, MIN CHF, and MIN CVF are metadata (frequency information) indicating the frequency band in which the determined video exists.
  • the encoder 240 encodes the master data according to the video compression standard.
  • the encoder 240 outputs video data including encoded video coding data and metadata to a transmission line.
  • the distribution data including the encoded data for the compressed video output by the encoder 240 is a code for other types of media such as audio and subtitles in addition to the video. It may contain the conversion data.
  • the metadata may include information other than the frequency information, for example, information indicating the maximum value and the average value of the luminance value.
  • the encoder 240 is realized by, for example, the processor 203, the main memory 204, the storage 205, and the communication IF 206 of the information processing apparatus 202.
  • the encoder 240 is realized by the processor 203 executing the program stored in the storage 205 by using the main memory 204.
  • the distribution side device 200 sets the frequency band specified by adjusting the video data so that it is set to the frequency band specified according to the input of the creator as the frequency band in which the video exists.
  • the present invention is not limited to this, and the frequency band in which the video exists may be specified by analyzing the frequency distribution of the video of the video data.
  • the distribution side device 200 generates video data including the set MAX CF and MIN CF as metadata, and distributes distribution data (encoded data) in which the generated video data is encoded. .. Thereby, the distribution side device 200 can indicate an effective frequency range in which the content exists in the video data of the video of the content (hereinafter referred to as “content”).
  • content an effective frequency range in which the content exists in the video data of the video of the content
  • the frequency band in which the content (video) exists is called an effective frequency band
  • the frequency band in which the content (video) does not exist is called an ineffective frequency band.
  • the invalid frequency band is an example of the second frequency band.
  • the display device 100 on the receiving side appropriately performs contour correction processing and noise reduction processing, which are image quality improvement processing when displaying the image indicated by the image data, by referring to the metadata indicating the effective frequency range. Can be done. Specifically, the display device 100 performs a process of lowering or turning off the gain of the contour correction process in a band having a high frequency of MAX CF or higher, or increasing the gain of the noise reduction process as the image quality improvement process. You may. Further, the display device 100 may perform a process of lowering or turning off the gain of the contour correction process in the low frequency band below the MIN CF and increasing the gain of the noise reduction process as the image quality improvement process.
  • the display device 100 can appropriately perform image quality processing for a frequency band in which the actual content to be delivered is not effective. Therefore, the display device 100 can reduce unnecessary noise components generated in the transmission line between the distribution side device 200 and the reception side display device 100, and can reduce the resolution in the frequency band of effective video signal processing. Image quality such as sharpness can be effectively improved. Further, the display device 100 can reduce the noise generated during coding in the distribution side device 200 or the noise generated during decoding in the display device 100.
  • the quantization of the band having a high frequency component (for example, the band of HHLL, HHLH, HHHL and HHHH shown in FIG. 5) is used. Lower the coefficient or set it to zero. This makes it possible to improve the compression rate of video data in coding while suppressing deterioration of image quality.
  • the quantization coefficient of the band having the lowest frequency component (for example, LLLL, LHLLL, HLLL and HHLL shown in FIG. 5) having the largest amount of information after frequency conversion is also provided. It is possible to lower it.
  • the distribution side device 200 can indicate the frequency range to be compressed by reducing the quantization coefficient by including the metadata in the video data of the content, so that the display device 100 on the reception side can show the video data.
  • contour correction processing and noise reduction processing which are image quality improvement processing when displaying the image included in the image data of the content, can be appropriately performed.
  • the display device 100 may perform a process of lowering or turning off the gain of the contour correction process in a high frequency band of MAX CF or higher, or increasing the gain of the noise reduction process as the image quality improvement process. good. Further, the display device 100 may perform a process of lowering or turning off the gain of the contour correction process in the low frequency band below the MIN CF, or increasing the gain of the noise reduction process as the image quality improvement process.
  • the display device 100 can appropriately perform image quality processing for a frequency band that deteriorates when encoding video data of actual content to be distributed, and the distribution side device 200 can perform image quality processing appropriately. It is possible to effectively reduce unnecessary noise components generated in the coding process of. Further, by performing the image quality improving process, the display device 100 can effectively improve the image quality such as the sense of resolution and the sharpness in the effective frequency band in which the image exists.
  • FIG. 6 is a block diagram showing an example of the functional configuration of the display device according to the present embodiment.
  • the display device 100 includes an acquisition unit 110, an adjustment unit 120, and an output unit 130 as a functional configuration.
  • the acquisition unit 110 acquires distribution data via a transmission means. Then, the acquisition unit 110 acquires the video data by decoding the distribution data.
  • the acquisition unit 110 is realized by, for example, a tuner 101, a decoder 102, or the like.
  • the adjusting unit 120 includes a control unit 121, a storage unit 122, an extraction unit 123, a first correction unit 124, and a second correction unit 125.
  • the control unit 121 identifies an effective frequency band using the metadata included in the video data, MAX CHF, MAX CVF, MIN CHF, and MIN CVF, and analyzes the video in the specified effective frequency band. .. Then, the control unit 121 adaptively generates frequency set data for frequency-dividing the video in the effective frequency band according to the video data.
  • the control unit 121 reads the initial value of the frequency set data stored in the storage unit 122 from the storage unit 122, and the initial value of the read frequency set data, the metadata included in the video data, and the effective frequency band. Frequency set data is generated using the video in.
  • the control unit 121 adaptively determines the values of the frequency threshold values HF1 and VF1 that specify the lowest effective frequency band and the frequency threshold values HF4 and HF4 that specify the highest frequency band.
  • the threshold HF1 indicates the lowest frequency in the effective frequency band in the horizontal direction.
  • the threshold VF1 indicates the lowest frequency in the effective frequency band in the vertical direction.
  • the threshold HF4 indicates the highest frequency in the effective frequency band in the horizontal direction.
  • the threshold VF4 indicates the highest frequency in the effective frequency band in the vertical direction.
  • the threshold values HF1, VF1, HF4, and VF4 correspond to MAX CHF, MAX CVF, MIN CHF, and MIN CVF, respectively (see FIG. 8).
  • the control unit 121 generates a detail threshold value and detail set data.
  • the detail threshold value is a threshold value for determining whether each region (for example, each pixel) constituting the image is a plane region, a detail region, or an edge region.
  • the detail set data is the offset value of the sharpness gain applied to the area (pixel) determined to be the plain area, the offset value of the sharpness gain applied to the area (pixel) determined to be the detail area, and the edge area. It is data which shows the offset value of the sharpness gain applied to the area (pixel) determined to exist.
  • the plane area, detail area, and edge area are classified according to the maximum difference in the amplitude of the pixel value of the area (pixel), and the maximum difference in the amplitude of the pixel value is larger in the detail area than in the plain area. It is large and indicates that the maximum difference in the amplitude of the pixel values is larger in the edge region than in the detail region.
  • the control unit 121 reads the initial value of the detail threshold value stored in the storage unit 122 and the initial value of the detail set data from the storage unit 122, and the initial value of the read detail threshold value and the initial value of the detail set data. May generate detail thresholds and detail set data according to the histogram using a histogram showing the number of pixels in each frequency band of the video in a valid frequency band.
  • control unit 121 uses MAX CHF, MAX CVF, MIN CHF, and MIN CVF, and a histogram showing the number of pixels for each frequency band of the video in the effective frequency band, and the sharpness used for the contour correction process. Generate a set table to set the gain.
  • the control unit 121 reads the initial value of the set table stored in the storage unit 122 from the storage unit 122, and uses the frequency information and the histogram to read the initial value of the set table according to the frequency information and the histogram. You may generate a set table.
  • the contour correction process is a process performed on the video data in order to improve the resolution or sharpness of the video. Therefore, by performing the contour correction processing on the video data, it is possible to improve the resolution or sharpness of the video of the obtained video data.
  • the sharpness gain is a parameter in which the gain of the contour correction process is defined.
  • the result of the contour correction processing when the sharpness gain is 0 is the same as the result when the contour correction processing is not performed. In this case, the sense of resolution or sharpness of the image does not change before and after the contour correction process.
  • the control unit 121 is realized by the control circuit 103. Specifically, the control unit 121 is realized by executing a predetermined program stored in the memory 104 by the control circuit 103.
  • the storage unit 122 stores the initial values of the frequency set data, the detail threshold value, the detail set data, and the gain set table.
  • the storage unit 122 is realized by the memory 104.
  • the extraction unit 123 extracts a plurality of bands by dividing the video of the video data into a plurality of bands in each of the horizontal frequency band and the vertical frequency band. The details of the extraction unit 123 will be described with reference to FIGS. 7 to 13.
  • FIG. 7 is a block diagram showing an example of the detailed configuration of the extraction unit.
  • FIG. 8 is a diagram for explaining a plurality of frequency-divided bands.
  • FIG. 9 is a diagram for defining a plurality of bands divided in the horizontal frequency band.
  • FIG. 10 is a diagram for defining a plurality of bands divided in a vertical frequency band.
  • FIG. 11 is a histogram showing the number of pixels belonging to each band in the column of the band V2 in the vertical direction.
  • FIG. 12 is a graph showing a first offset curve of sharpness gain corresponding to each band in the column of bands V2 in the vertical direction.
  • FIG. 13 is a table showing offset values of sharpness gain corresponding to each band.
  • the extraction unit 123 has five horizontal extraction units 301 to 305, five vertical extraction units 311 to 315, and 25 counting units 321 to 345.
  • the five horizontal extraction units 301 to 305 filter the image horizontally using the thresholds HF1, HF2, HF3, and HF4 in the horizontal frequency band shown by the frequency set data, respectively.
  • Five bands divided in the direction are extracted.
  • the horizontal extraction unit 301 extracts the horizontal band H0 in the frequency band below the threshold value HF1.
  • the horizontal extraction unit 302 extracts the horizontal band H1 in the frequency band larger than the threshold value HF1 and less than the threshold value HF2.
  • the horizontal extraction unit 303 extracts the horizontal band H2 in the frequency band larger than the threshold value HF2 and less than the threshold value HF3.
  • the horizontal extraction unit 304 extracts the horizontal band H3 in the frequency band larger than the threshold value HF3 and less than the threshold value HF4.
  • the horizontal extraction unit 305 extracts the horizontal band H4 having a frequency band larger than the threshold value HF4.
  • the threshold value HF1 may be included in either the horizontal band H0 or the horizontal band H1.
  • the threshold value HF2 may be included in either the horizontal band H1 or the horizontal band H2.
  • the threshold value HF3 may be included in either the horizontal band H2 or the horizontal band H3.
  • the threshold value HF4 may be included in either the horizontal band H3 or the horizontal band H4.
  • the five horizontal extraction units 301 to 305 have two bands divided by the threshold values HF1, HF2, HF3, and HF4 in the bands around the threshold values HF1, HF2, HF3, and HF4. It may be weighted and defined. That is, the band around the threshold value HF1 (that is, the band in the first range centered on the threshold value HF1) may be defined so that the weight of the horizontal band H1 increases as the frequency increases. For example, in the case of a pixel having a frequency of the threshold HF1, the threshold HF1 in FIG. 9 has a gain corresponding to the horizontal band H0 of 0.5 and a gain corresponding to the horizontal band H1 of 0.5.
  • 0.5 pixels belong to the horizontal band H0, and 0.5 pixels belong to the horizontal band H1.
  • the frequency of the pixel belongs to the band around the threshold and the threshold is the threshold between the first horizontal band and the second horizontal band
  • the value of the gain of the first horizontal band corresponding to the pixel is used. It means that the number of pixels shown belongs to the first horizontal band, and the number of pixels indicated by the gain value of the second horizontal band corresponding to the pixel belongs to the second horizontal band.
  • the five vertical extraction units 311 to 315 have threshold values in the vertical frequency band indicated by the frequency set data for each of the horizontal bands H0 to H4 extracted by the horizontal extraction units 301 to 305. Filtering is performed using VF1, VF2, VF3, and VF4. As a result, the five vertical extraction units 311 to 315 extract five bands vertically divided for each of the horizontal bands H0 to H4 extracted by the horizontal extraction units 301 to 305. As a result, the video is divided into five bands in the horizontal direction and five bands in the vertical direction.
  • the vertical extraction unit 311 extracts the vertical band V0 in the frequency band below the threshold value VF1.
  • the vertical extraction unit 312 extracts the vertical band V1 in the frequency band larger than the threshold value VF1 and less than the threshold value VF2.
  • the vertical extraction unit 313 extracts the vertical band V2 in the frequency band larger than the threshold value VF2 and less than the threshold value VF3.
  • the vertical extraction unit 314 extracts the vertical band V3 in the frequency band larger than the threshold value VF3 and less than the threshold value VF4.
  • the vertical extraction unit 315 extracts a vertical band V4 having a frequency band larger than the threshold value VF4.
  • the threshold value VF1 may be included in either the vertical band V0 or the vertical band V1.
  • the threshold value VF2 may be included in either the vertical band V1 or the vertical band V2.
  • the threshold value VF3 may be included in either the vertical band V2 or the vertical band V3.
  • the threshold value VF4 may be included in either the vertical band V3 or the vertical band V4.
  • the five vertical extraction units 311 to 315 have two bands divided by the threshold values VF1, VF2, VF3, and VF4 in the bands around the threshold values VF1, VF2, VF3, and VF4. It may be weighted and defined. That is, the band around the threshold value VF1 (that is, the band in the first range centered on the threshold value VF1) may be defined so that the weight of the vertical band V1 increases as the frequency increases. For example, in the case of a pixel having a frequency of the threshold VF1, the threshold VF1 in FIG. 10 has a gain corresponding to the vertical band V0 of 0.5 and a gain corresponding to the vertical band V1 of 0.5.
  • 0.5 pixels belong to the vertical band V0, and 0.5 pixels belong to the vertical band V1.
  • the value of the gain of the first vertical band corresponding to the pixel is used. It means that the number of pixels shown belongs to the first vertical band, and the number of pixels indicated by the gain value of the second vertical band corresponding to the pixel belongs to the second vertical band.
  • the difference between two adjacent thresholds among the thresholds HF1, HF2, HF3, and HF4 does not have to be a constant value. That is, the bandwidths of the horizontal bands H0 to H4 do not have to be equal to each other. For example, the bandwidth of the horizontal bands H0 and H4 may be smaller than the bandwidth of the other horizontal bands H1 to H3.
  • the difference between two adjacent thresholds among the thresholds VF1, VF2, VF3, and VF4 does not have to be a constant value. That is, the bandwidths of the vertical bands V0 to V4 do not have to be equal to each other. For example, the bandwidth of the vertical bands V0 and V4 may be smaller than the bandwidth of the other vertical bands V1 to V3.
  • the 25 counting units 321 to 345 are defined by each of the horizontally divided horizontal bands H0 to H4 and each of the vertically divided vertical bands V0 to V4. For each of the 25 bands V0H0 to V4H4, the number of pixels belonging to the band is counted. That is, the five counting units 321 to 325 have a vertical band V0 and a band V0H0 defined by a horizontal band H0, a vertical band V0 and a band V0H1 defined by a horizontal band H1, and a vertical band V0 and a horizontal band H2, respectively.
  • the number of pixels belonging to the specified band V0H2, the band V0H3 specified by the vertical band V0 and the horizontal band H3, and the band V0H4 specified by the vertical band V0 and the horizontal band H4 is counted.
  • the five counting units 326 to 330 are defined by a band V1H0 defined by a vertical band V1 and a horizontal band H0, a band V1H1 defined by a vertical band V1 and a horizontal band H1, and a band V1 and a horizontal band H2, respectively.
  • the number of pixels belonging to the band V1H2, the band V1H3 defined by the vertical band V1 and the horizontal band H3, and the band V1H4 defined by the vertical band V1 and the horizontal band H4 is counted.
  • the five counting units 331 to 335 are defined by the vertical band V2 and the band V2H0 defined by the horizontal band H0, the vertical band V2 and the band V2H1 defined by the horizontal band H1, and the vertical band V2 and the horizontal band H2, respectively.
  • the number of pixels belonging to the band V2H2, the band V2H3 defined by the vertical band V2 and the horizontal band H3, and the band V2H4 defined by the vertical band V2 and the horizontal band H4 is counted.
  • the five counting units 336 to 340 are defined by the vertical band V3 and the band V3H0 defined by the horizontal band H0, the vertical band V3 and the band V3H1 defined by the horizontal band H1, and the vertical band V3 and the horizontal band H2, respectively.
  • the number of pixels belonging to the band V3H2, the band V3H3 defined by the vertical band V3 and the horizontal band H3, and the band V3H4 defined by the vertical band V3 and the horizontal band H4 is counted.
  • the five counting units 341 to 345 are defined by the vertical band V4 and the band V4H0 defined by the horizontal band H0, the vertical band V4 and the band V4H1 defined by the horizontal band H1, and the vertical band V4 and the horizontal band H2, respectively.
  • the number of pixels belonging to the band V4H2, the band V4H3 defined by the vertical band V4 and the horizontal band H3, and the band V4H4 defined by the vertical band V4 and the horizontal band H4 is counted.
  • Each of the 25 counting units 321 to 345 counts the number of pixels in the corresponding band, so that extraction data which is the result of 25 counts can be obtained.
  • the extracted data may include, for example, band information for specifying the band and the number of pixels of pixels belonging to the band for each of the 25 bands.
  • the generated 25 extracted data are output to the first correction unit 124.
  • the extraction unit 123 provides band video data indicating band information for specifying the band and pixel information indicating one or more pixels belonging to the band to the first correction unit 124. It may be output to.
  • the extraction unit 123 uses 25 extraction data to generate a histogram showing the number of pixels in each band.
  • the extraction unit 123 can generate a histogram as shown in FIG. 11 as a result of counting the number of pixels belonging to each of the plurality of bands in the column of the vertical band V2, for example. Note that FIG. 11 shows the number of pixels belonging to a plurality of bands in the column of the vertical band V2 as an example, but the histogram generated by the extraction unit 123 shows the pixels belonging to each of the 25 bands. The result of counting the number of is shown.
  • the generated histogram is output to the control unit 121.
  • the extraction unit 123 is realized by the control circuit 103. Specifically, the extraction unit 123 is realized by executing a predetermined program stored in the memory 104 by the control circuit 103.
  • the control unit 121 belongs to an invalid frequency band which is a band outside the valid frequency band rather than the sharpness gain of the first region belonging to the valid frequency band indicated by the metadata among the plurality of regions constituting the video. Adjust the sharpness gain of the image so that the sharpness gain of the second region becomes small.
  • the plurality of regions may be, for example, a plurality of pixels or a plurality of blocks.
  • the control unit 121 adjusts the sharpness gain of the image by adding the first offset value, which is a value equal to or less than the first threshold value, to the sharpness gain of the image in the invalid frequency band.
  • control unit 121 adjusts the sharpness gain of the image by adding the second offset value, which is a value larger than the first threshold value, to the sharpness gain of the image in the effective frequency band.
  • the first threshold value is, for example, 0. That is, the first offset value for adjusting the sharpness gain of the second region belonging to the invalid frequency band is a value of 0 or less. Further, the second offset value for adjusting the sharpness gain of the first region belonging to the effective frequency band is a value larger than 0.
  • the frequency bands of V0H0-V4H0, V0H1, V4H1, V0H2, V4H2, V0H3, V4H3, and V0H4-V4H4, which are invalid frequency bands in the video data of the content set in the distribution side device 200 are This is a frequency band in which the video generated by the distribution side device 200 does not exist. Therefore, the control unit 121 calculates a first offset value that sets the sharpness gain in a plurality of bands belonging to the invalid frequency band to 0 with reference to the sharpness gain which is the initial value of the gain set table.
  • the first offset value is, for example, a negative number equal to the absolute value of the initial value of the gain set table. For example, in FIG.
  • the control unit 121 sets a negative first offset value ⁇ GA in order to adjust the sharpness gain in the frequency bands V2H0 and V2H4 to 0 based on the initial value of the sharpness gain in the frequency bands V2H0 and V2H4. decide.
  • the initial value of the sharpness gain is set to a positive value regardless of the frequency band.
  • the adjusting unit 120 does not increase the sharpness gain with respect to the video band in the invalid frequency band of the actual content to be distributed, so that the transmission between the distribution side and the receiving side is performed by increasing the sharpness gain. It is possible to suppress the amplification of the sharpness gain for the noise in the high frequency band generated in the road.
  • the control unit 121 sets the first offset value to a negative number equal to the absolute value of the initial value of the gain set table, but the control unit 121 is not limited to this and has a negative number larger than the absolute value of the initial value of the gain set table. It may be a number. As a result, the sharpness gain in the pixels in the invalid frequency band can be set to a negative value, and the noise reduction effect can be given to the pixels in the invalid frequency band.
  • the bands V2H1, V2H2, and V2H3 are effective frequency bands generated by the distribution side device 200. Therefore, the control unit 121 determines a positive second offset value ⁇ GB in order to adjust the sharpness gain to be larger than the initial value of the sharpness gain in the frequency bands V2H1, V2H2, and V2H3.
  • control unit 121 further uses the histogram acquired from the extraction unit 123 to determine a plurality of third offset values so that the larger the number of pixels belonging to the plurality of bands in the frequency domain, the larger the value. You may.
  • the plurality of third offset values may include the second offset value.
  • the control unit 121 has, for example, the band V2H3 having the largest number of pixels among the bands V2H1 to V2H3 belonging to the effective frequency bands in the plurality of bands V2H0 to V2H4 in the column of the vertical band V2.
  • the offset value ⁇ GE of the largest value is determined.
  • the control unit 121 determines the offset value ⁇ GD of the second largest value in the second largest band V2H1.
  • the control unit 121 determines the offset value ⁇ GF of the third largest value in the third largest band V2H3.
  • the frequency bands V1H1-V3H1, V1H2-V3H2, and V1H3-V3H3, which are effective frequency bands in the video data of the content set in the distribution side device 200, are generated by the distribution side device 200.
  • This is the frequency band in which the video is present. Therefore, in order to increase the resolution or sharpness of the video in the effective frequency band, the control unit 121 sets a second offset value for amplifying the sharpness gain with reference to the sharpness gain which is the initial value of the gain set table. calculate.
  • the second offset value is, for example, a positive number.
  • control unit 121 calculates the third offset value based on the histogram so that the positive offset value (A to I) becomes larger as the number of pixels to which it belongs increases.
  • the adjusting unit 120 can increase the sharpness gain for the video data in the frequency band having many pixels in the video, and can improve the apparent resolution and sharpness.
  • the control unit 121 generates an adjusted gain set table including the first offset value and the second offset value for each of the plurality of frequency bands, and the generated adjusted gain set table is used in the second correction unit 125. Output.
  • FIG. 14 is a block diagram showing an example of a detailed configuration of the first correction unit.
  • FIG. 15 is a block diagram showing an example of a detailed configuration of the detection unit.
  • FIG. 16 is a diagram showing a detail threshold value for determining the type of a region constituting an image.
  • FIG. 17 is a diagram showing an example of a determination result of a region type.
  • FIG. 18 is a graph showing the second offset curve.
  • FIG. 19 is a table showing an example of detail set data.
  • the first correction unit 124 has 25 detection units 401 to 425.
  • the 25 detection units 401 to 425 each correspond to 25 bands V0H0 to V4H4, and detect the type of region to which the pixels included in the corresponding band belong.
  • each of the 25 detection units 401 to 425 has a detail determination unit 431 and a curve generation unit 432.
  • the detail determination unit 431 determines whether each pixel of the band video data is a plane region, a detail region, or an edge region based on the amplitude of the band video data input to the corresponding detection unit. conduct.
  • the amplitude is a value based on the pixel value of the pixel.
  • the amplitude is, for example, the brightness Y when the video data is represented by a YUV signal, and the R component and the G component in the pixel values of the pixels included in the video data when the video data is represented by an RGB signal.
  • MaxRGB showing the maximum value among the B components.
  • the detail determination unit 431 determines the maximum difference based on the pixel values of a plurality of pixels having a predetermined width in the horizontal or vertical direction with the pixel to be processed as a reference (center) in the band video data. calculate.
  • the predetermined width is, for example, a width corresponding to a predetermined number of clocks in the horizontal direction or the vertical direction.
  • the maximum difference is the difference between the maximum value and the minimum value of the pixel values of a plurality of pixels included in a predetermined width.
  • the detail determination unit 431 is determined by using the band image data, the extracted data, and the detail threshold, rather than the fourth offset value to be further added to the sharpness gain in the first pixel for which the maximum difference within the predetermined range is calculated.
  • the sharpness gain of the image is adjusted so that the fifth offset value to be further added to the sharpness gain in the second pixel for which the maximum difference outside the range of is calculated becomes smaller.
  • the predetermined range is a range determined to be a detail region, and is, for example, a range larger than the threshold value THP and smaller than the threshold value THD.
  • the fourth offset value is, for example, + X, which is a value greater than 0, as shown in the detail set data of FIG.
  • the fifth offset value is ⁇ 0, for example, as shown in the detail set data in FIG.
  • the detail determination unit 431 sets the type of the pixel area to the plain area. Is determined to be. Further, as shown in FIGS. 16 and 17 (b), the detail determination unit 431 determines that the maximum difference ⁇ Dd of the amplitude based on the pixel value of the pixel to be processed is larger than the threshold value THP and less than the threshold value THD. It is determined that the type of the area of is a detail area. Further, as shown in FIGS.
  • the detail determination unit 431 determines the type of the area of the pixel when the maximum difference ⁇ De of the amplitude based on the pixel value of the pixel to be processed is larger than the threshold value THD. Judged as an edge area. It should be noted that the pixel having the maximum difference of the threshold THD may be determined to be in either the plain region or the detail region. Further, it may be determined that the pixel having the maximum difference of the threshold value THP is one of the detail region and the edge region. The detail determination unit 431 outputs the determination result to the curve generation unit 432.
  • the curve generation unit 432 generates an offset curve as shown in FIG. 18 using the determination result and the detail set data.
  • the curve generation unit 432 acquires detail set data from the control unit 121, and based on the acquired detail set data, generates an offset curve in which the plane area and the edge area are ⁇ 0 and the detail area is + X. ..
  • the curve generation unit 432 outputs detection data for further adding a fourth offset value to the sharpness gain with respect to the band video data determined as the detail region to the second correction unit 125.
  • the first correction unit 124 can set a larger sharpness gain for the area of the pixel determined to be the detail area.
  • the detail area has a great influence on the apparent resolution of the image, and by increasing the sharpness gain of the detail area, the apparent resolution of the image can be effectively improved.
  • the offset when it is determined to be the plane area and the edge area is ⁇ 0, but instead of ⁇ 0, an offset value which is a positive value smaller than + X may be set.
  • the first correction unit 124 is realized by the control circuit 103. Specifically, the first correction unit 124 is realized by executing a predetermined program stored in the memory 104 by the control circuit 103.
  • FIG. 20 is a block diagram showing an example of a detailed configuration of the second correction unit.
  • the second correction unit 125 has 26 correction units 501 to 526 and 26 setting units 531 to 556.
  • correction unit 501 to 526 25 correction units 501 to 525 each correspond to 25 bands.
  • the correction unit 526 corresponds to video data.
  • 25 setting units 531 to 555 each correspond to 25 bands.
  • the setting unit 556 corresponds to video data (that is, video data indicating the entire video).
  • the setting unit 556 sets the sharpness gain of the initial value in the correction unit 526 by using the initial value of the gain set table from the control unit 121.
  • the correction unit 526 generates and outputs overall contour correction data based on the initial sharpness gain.
  • Each of the 25 setting units 531 to 555 sets the offset value of the corresponding frequency band among the offset values set in the adjusted gain set table and the offset value of the detection data of the corresponding frequency band for each pixel.
  • the sharpness gain based on the added offset value obtained by the addition is calculated, and the calculated sharpness gain is set in the corresponding correction units 501 to 525.
  • Each correction unit 501 to 525 generates and outputs pixel contour correction data used for contour correction processing based on the set sharpness gain.
  • the pixel contour correction data is generated, for example, by performing differential processing using the target pixel and the pixels before and after the target pixel. When the sharpness gain is larger, the pixel contour correction data is more amplified and output.
  • the second correction unit 125 adds the pixel contour correction data generated by the correction units 501 to 525 and the overall contour correction data generated by the correction unit 526 to obtain sharpness gain for each frequency band. , And generate contour correction data for appropriate adjustment for each type of area.
  • the second correction unit 125 outputs the generated contour correction data to the output unit 130.
  • the second correction unit 125 generates adjusted contour correction data in which the sharpness gain is appropriately adjusted for each frequency band and for each type of region with respect to the effective frequency band of the delivered content, so that each frequency is used.
  • the video data in the frequency band containing many pixels can more effectively improve the sharpness gain in the area of the pixel corresponding to the detail area. As a result, the apparent resolution of the image can be improved more effectively.
  • the gain offset value can be set to 0 or a negative number. Therefore, even if an unnecessary noise component generated in the transmission line between the distribution side device 200 and the reception side display device 100 is erroneously detected as a detail area that is effective when the sharpness gain is improved, it is erroneously detected. Since it is possible to suppress the amplification of the sharpness gain in the detail region or to reduce the noise, it is possible to suppress the amplification or reduce the noise. Therefore, the image quality of the displayed image can be effectively improved.
  • the second correction unit 125 is realized by the control circuit 103. Specifically, the second correction unit 125 is realized by executing a predetermined program stored in the memory 104 by the control circuit 103.
  • the adjusting unit 120 adds the contour correction data output by the second correction unit 125 and the video data acquired by the acquisition unit 110. That is, the adjustment unit 120 adds the pixel contour correction data, the overall contour correction data, and the video data. As a result, the adjusting unit 120 generates adjusted video data in which the sharpness gain is appropriately adjusted for each frequency band and for each type of region.
  • each processing unit included in the adjusting unit 120 is realized by, for example, a control circuit 103 and a memory 104.
  • the output unit 130 displays the output adjusted video data.
  • the output unit 130 is realized by, for example, a display device 105.
  • the output unit 130 is not limited to the display device 105, and may be a transmission means for outputting the adjusted video data to an external device.
  • the output unit 130 may be, for example, a video output terminal that outputs adjusted video data to an external device, or is a communication IF that outputs adjusted video data to an external device by wire communication or wireless communication. May be good.
  • the video output terminal may be an HDMI (registered trademark) (High-Definition Multimedia Interface) terminal.
  • FIG. 21 is a flowchart of a video generation method by the distribution side device.
  • the distribution-side device 200 specifies an effective frequency band, which is a spatial frequency band of video (S01).
  • the distribution side device 200 generates video data including the video and the metadata indicating the specified effective frequency band (S02).
  • the distribution-side device 200 generates coded data for video by, for example, encoding video data including video and metadata.
  • the distribution side device 200 outputs the generated video data (S03).
  • the distribution-side device 200 outputs video data, for example, by outputting coded data to a transmission line.
  • FIG. 22 is a flowchart of a video processing method using a display device.
  • the acquisition unit 110 of the display device 100 acquires video and video data including metadata indicating an effective frequency band which is a spatial frequency band in which the video exists (S11).
  • the acquisition unit 110 of the display device 100 acquires video data by, for example, acquiring coded data and decoding the acquired coded data.
  • the adjusting unit 120 of the display device 100 is more than the sharpness gain of the first region belonging to the effective frequency band indicated by the metadata among the plurality of regions constituting the video included in the acquired video data.
  • the sharpness gain of the image is adjusted so that the sharpness gain of the second region belonging to the invalid frequency band, which is a band outside the valid frequency band, becomes small (S12). Details of step S12 will be described later with reference to FIG. 23.
  • the output unit 130 of the display device 100 outputs the adjusted image (S13).
  • FIG. 23 is a flowchart of the process for adjusting the sharpness gain.
  • the adjusting unit 120 of the display device 100 performs the first calculation for calculating the offset values (first offset value and second offset value) for adjusting the sharpness gain for each of a plurality of frequency bands (S21). Details of step S21 will be described later with reference to FIG. 24.
  • the adjusting unit 120 calculates an offset value (fourth offset value and fifth offset value) for adjusting the sharpness gain according to the type of the region to which the pixel belongs for each of the plurality of pixels of the image. The calculation is performed (S22). Details of step S22 will be described later with reference to FIG. 26.
  • the adjusting unit 120 uses the result of the first calculation and the result of the second calculation to generate an image in which the sharpness gain is adjusted (S23). Details of step S23 will be described later with reference to FIG. 27.
  • FIG. 24 is a flowchart of the first calculation.
  • the adjusting unit 120 divides the video into a plurality of bands divided by a plurality of frequency bands by dividing the video in each of the horizontal direction and the vertical direction in the frequency band (S31).
  • the adjusting unit 120 starts loop 1 for each of the plurality of bands. In loop 1, steps S32 to S34 are performed.
  • the adjusting unit 120 determines whether or not the band to be processed is an invalid frequency band (S32).
  • the adjusting unit 120 determines that the band to be processed is an invalid frequency band (Yes in S32), the adjusting unit 120 calculates a first offset value which is a value equal to or less than the first threshold value (S33).
  • the adjustment unit 120 determines that the band to be processed is not an invalid frequency band, that is, is a valid frequency band (No in S32)
  • the adjusting unit 120 calculates a second offset value which is a value larger than the first threshold value. (S34). The details of step S34 will be described with reference to FIG. 25.
  • the adjustment unit 120 executes the loop 1 for all of the plurality of bands, the adjustment unit 120 ends the loop 1.
  • FIG. 25 is a flowchart of the calculation process of the second offset value.
  • the adjusting unit 120 counts the number of pixels belonging to the band to be processed (S41).
  • the adjusting unit 120 determines a third offset value according to the number of pixels belonging to the band to be processed, which is obtained by counting (S42).
  • the third offset value may include the second offset value.
  • FIG. 26 is a flowchart of the second calculation.
  • the adjustment unit 120 starts loop 2 for each of the plurality of pixels of the video. In loop 2, steps S51 to S54 are performed.
  • the adjusting unit 120 calculates the maximum difference in amplitude based on the pixel values of a plurality of pixels having a predetermined width in the horizontal or vertical direction with respect to the pixel to be processed (S51).
  • the adjusting unit 120 determines whether or not the pixel to be processed belongs to the detail region based on the calculated maximum difference (S52). Specifically, the adjusting unit 120 determines whether or not the calculated maximum difference is within the predetermined range, and if it is within the predetermined range, determines that the pixel to be processed belongs to the detail region, and outside the predetermined range. If there is, it is determined that the pixel to be processed belongs to the outside of the detail area.
  • the adjustment unit 120 determines that the pixel to be processed belongs to the detail region (Yes in S52), the adjustment unit 120 calculates a fourth offset value that increases the sharpness gain of the pixel (S53).
  • the adjustment unit 120 determines that the pixel to be processed does not belong to the detail region, for example, when it determines that the pixel belongs to the plane region or the edge region (No in S52), the fifth offset for adjusting the sharpness gain of the pixel. Calculate the value (S54).
  • the fifth offset value is a value smaller than the fourth offset value.
  • the adjustment unit 120 executes the loop 2 for all of the plurality of pixels, the adjustment unit 120 ends the loop 2.
  • FIG. 27 is a flowchart of the process of adjusting the sharpness gain of the image. Specifically, the entire processing of the flowchart shown in FIG. 27 is performed for each of the plurality of pixels constituting the video.
  • the adjusting unit 120 starts the loop 3 for each of the plurality of bands. In loop 3, step S61 is performed.
  • the adjusting unit 120 adds the first offset value or the second offset value calculated for the band to be processed to the initial value of the sharpness gain (S61).
  • the adjustment unit 120 executes the loop 3 for all of the plurality of bands, the adjustment unit 120 ends the loop 3.
  • the adjusting unit 120 adds the fourth offset value or the fifth offset value calculated corresponding to the pixel to the sharpness gain as a result of step S61 corresponding to the pixel to be processed (S62).
  • the adjustment unit 120 generates pixel contour correction data used for the contour correction process based on the sharpness gain calculated for each pixel obtained by executing the process of step S62 (S63).
  • the adjustment unit 120 generates overall contour correction data based on the initial value of the sharpness gain (S64).
  • the adjustment unit 120 adds the pixel contour correction data obtained in step S63, the overall contour correction data obtained in step S64, and the video data acquired by the acquisition unit 110 in step S11 (S65). As a result, video data in which the sharpness gain is effectively adjusted is generated.
  • the adjusting unit 120 is supposed to add the offset value calculated to the initial value of the sharpness gain in step S61, it is not necessary to add the offset value to the initial value of the sharpness gain here.
  • the adjusting unit 120 specifies the offset value to be added in step S61 and the offset value to be added in step S62 for each pixel, so that the offset value in step S61 and the offset in step S62 are added to the initial value of the sharpness gain.
  • the values may be added together.
  • the adjusting unit 120 executes the loop 3 and the step S64 in advance according to the update cycle of the metadata (frequency information), adds the loop 3 and the result of the step S64 in advance, and obtains the addition in advance.
  • the result of step S62 in which the data is executed in the pixel cycle may be further added for each pixel.
  • the sharpness gain of the image can be adjusted so that the sharpness gain of the second region belonging to the second frequency band does not become higher than that of the first region. Therefore, when the process of increasing the sharpness gain is performed, the noise belonging to the second frequency band generated between the time when the image obtained by shooting is encoded by the distribution side device 200 and the time when the image is decoded by the display device 100 is performed. Can be suppressed from being amplified more than the first region. Therefore, it is possible to reduce the noise from being more noticeable than other images by performing the process of improving the sharpness gain.
  • the adjusting unit 120 adjusts the sharpness gain of the image by adding the first offset value, which is a value of 0 or less, to the sharpness gain of the second region. Therefore, the sharpness gain of the image can be adjusted so that the sharpness gain of the second region belonging to the second frequency band in which the image does not exist does not increase or decreases. Therefore, when the process of increasing the sharpness gain is performed, the noise belonging to the second frequency band generated between the time when the image obtained by shooting is encoded by the distribution side device 200 and the time when the image is decoded by the display device 100 is performed. Can be suppressed from being amplified.
  • the sharpness gain of the image is adjusted so that the sharpness gain of the second region belonging to the second frequency band does not increase or decreases. This makes it possible to more effectively suppress the deterioration of image quality due to noise.
  • the adjusting unit 120 adjusts the sharpness gain of the image by adding the second offset value, which is a value larger than 0, to the sharpness gain of the first region. Therefore, the sharpness gain in the first region where the image is present can be improved, so that the image quality can be effectively improved.
  • the first frequency band includes a plurality of bands different from each other.
  • the second offset value includes a plurality of third offset values corresponding to each of the plurality of bands.
  • the adjusting unit 120 counts the number of pixels belonging to the band for each of the plurality of bands, and determines a plurality of third offset values so that the larger the number of pixels belonging to the plurality of bands, the larger the value. Therefore, as the number of pixels increases, the sharpness gain is improved, so that the image quality can be effectively improved.
  • the adjusting unit 120 further, for each of the plurality of pixels in the video, the pixels of the plurality of pixels having a predetermined width in the horizontal direction or the vertical direction with respect to the pixel. Calculate the maximum difference based on the value. Further, the adjusting unit 120 is in the second pixel in which the maximum difference outside the predetermined range is calculated, rather than the fourth offset value further added to the sharpness gain in the first pixel in which the maximum difference within the predetermined range is calculated.
  • the sharpness gain of the image is adjusted so that the fifth offset value to be added to the sharpness gain becomes smaller. Therefore, it is easy to improve the image quality by increasing the sharpness gain. Since the sharpness gain can be adjusted so that the sharpness gain in the first pixel is higher than the sharpness gain in the second pixel, the image quality is effectively improved. be able to.
  • the display device 100 is provided with the control unit 121 as a functional configuration, but the display device 100 does not necessarily have to include the control unit 121. That is, the information calculated by the control unit 121 may be acquired from the outside, or may be stored in advance by the storage unit 122.
  • the display device 100 is configured to include the tuner 101, and the acquisition unit 110 is realized by the tuner 101, but the present invention is not limited to this.
  • the acquisition unit 110 may acquire video data by reading video data recorded on a recording medium (predetermined package media) such as an optical disc.
  • the acquisition unit 110 may be realized by an electric device including an optical pickup that reads out an optical disc.
  • the acquisition unit 110 may acquire video data from an external server via a network such as the Internet.
  • the acquisition unit 110 may be realized by a communication IF for communicating with an external server.
  • the present disclosure is useful as a video processing device, a video processing method, a video generation device, a video generation method, a program, etc. that can suppress noise amplification by increasing the sharpness gain.
  • Video system 100 Display device 101 Tuner 102 Decoder 103 Control circuit 104 Memory 105 Display device 110 Acquisition unit 120 Adjustment unit 121 Control unit 122 Storage unit 123 Extraction unit 124 First correction unit 125 Second correction unit 130 Output unit 200 Distribution side device 201 Camera 202 Information processing device 203 Processor 204 Main memory 205 Storage 206 Communication IF 207 Input IF 208 Display 210 Capture unit 220 Mastering unit 230 Frequency conversion unit 240 Encoder 301 to 305 Horizontal extraction unit 311 to 315 Vertical extraction unit 321 to 345 Counting unit 401 to 425 Detection unit 431 Detail determination unit 432 Curve generation unit 501 to 526 Correction unit 531 ⁇ 556 Setting unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Picture Signal Circuits (AREA)

Abstract

映像処理装置は、映像、および、映像が存在する空間的な周波数の帯域である第１周波数帯域を示すメタデータを含む映像データを所定の伝送路を介して取得する取得部（１１０）と、取得部（１１０）により取得された映像データに含まれる映像を構成する複数の領域のうち、メタデータで示される第１周波数帯域に属する第１領域のシャープネスゲインよりも、第１周波数帯域外の帯域である第２周波数帯域に属する第２領域のシャープネスゲインが小さくなるように、映像のシャープネスゲインを調整する調整部（１２０）と、調整部（１２０）により調整された調整後の映像を出力する出力部（１３０）と、を備える。

Description

映像処理装置、映像処理方法、映像生成装置、映像生成方法およびプログラム
　本開示は、映像のシャープネスゲインを調整する映像処理装置、映像処理方法およびプログラム、または、メタデータを含む映像データを生成する映像生成装置、映像生成方法およびプログラムに関する。
　特許文献１には、映像のフレームを構成する各画素の隣接画素間輝度差が所定の第１以上である画素の割合が大きいフレームほど、シュート成分を小さくしてエッジ強調を行う映像処理装置について開示されている。
特表２０１４－５１２７４０号公報
　本開示は、シャープネスゲインを上げることによるノイズの増幅を抑制することができる映像処理装置などを提供する。
　本開示の一態様に係る映像処理装置は、映像、および、前記映像が存在する空間的な周波数の帯域である第１周波数帯域を示すメタデータを含む映像データを取得する取得部と、前記取得部により取得された前記映像データに含まれる前記映像を構成する複数の領域のうち、前記メタデータで示される前記第１周波数帯域に属する第１領域のシャープネスゲインよりも、前記第１周波数帯域外の帯域である第２周波数帯域に属する第２領域のシャープネスゲインが小さくなるように、前記映像のシャープネスゲインを調整する調整部と、前記調整部により調整された調整後の映像を出力する出力部と、を備える。
　また、本開示の一態様に係る映像処理方法は、映像のシャープネスゲインを調整する映像処理装置によって行われる映像処理方法であって、映像、および、前記映像が存在する空間的な周波数の帯域である第１周波数帯域を示すメタデータを含む映像データを取得し、取得された前記映像データに含まれる前記映像を構成する複数の領域のうち、前記メタデータで示される前記第１周波数帯域に属する第１領域のシャープネスゲインよりも、前記第１周波数帯域外の帯域である第２周波数帯域に属する第２領域のシャープネスゲインが小さくなるように、前記映像のシャープネスゲインを調整し、調整後の映像を出力する。
　また、本開示の一態様に係る映像生成装置は、映像が存在する空間的な周波数の帯域である第１周波数帯域を特定する特定部と、前記映像と、特定した前記第１周波数帯域を示すメタデータとを含む映像データを生成する生成部と、生成した前記映像データを出力する出力部と、を備える。
　また、本開示の一態様に係る映像生成方法は、メタデータを含む映像データを生成する映像生成装置によって行われる映像生成方法であって、映像が存在する空間的な周波数の帯域である第１周波数帯域を特定し、前記映像と、特定した前記第１周波数帯域を示すメタデータとを含む映像データを生成し、生成した前記映像データを出力する。
　なお、これらの全般的または具体的な態様は、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、集積回路、コンピュータプログラムおよび非一時的な記録媒体の任意な組み合わせで実現されてもよい。
　本開示における映像処理装置などは、シャープネスゲインを上げることによるノイズの増幅を抑制することができる。
図１は、本実施の形態に係る映像システムの概略を示す図である。 図２は、本実施の形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 図３は、本実施の形態に係る表示装置のハードウェア構成の一例を示すブロック図である。 図４は、本実施の形態に係る配信側装置の構成の一例を示すブロック図である。 図５は、本実施の形態に係る映像が周波数分割された複数の領域の分布を示す図である。 図６は、本実施の形態に係る表示装置の機能構成の一例を示すブロック図である。 図７は、抽出部の詳細な構成の一例を示すブロック図である。 図８は、周波数分割された複数の領域について説明するための図である。 図９は、水平方向の周波数帯域において分割される複数の領域を定義するための図である。 図１０は、垂直方向の周波数帯域において分割される複数の領域を定義するための図である。 図１１は、垂直方向の領域Ｖ２の列の各領域に属する画素数を示すヒストグラムである。 図１２は、垂直方向の領域Ｖ２の列の各領域に対応するシャープネスゲインの第１オフセットカーブを示すグラフである。 図１３は、各領域に対応するシャープネスゲインのオフセット値を示すテーブルである。 図１４は、第１補正部の詳細な構成の一例を示すブロック図である。 図１５は、検出部の詳細な構成の一例を示すブロック図である。 図１６は、映像を構成する領域の種類を判定するためのディテイル閾値を示す図である。 図１７は、領域の種類の判定結果の一例を示す図である。 図１８は、第２オフセットカーブを示すグラフである。 図１９は、ディテイルセットデータの一例を示す表である。 図２０は、第２補正部の詳細な構成の一例を示すブロック図である。 図２１は、配信側装置による映像生成方法のフローチャートである。 図２２は、表示装置による映像処理方法のフローチャートである。 図２３は、シャープネスゲインを調整する処理のフローチャートである。 図２４は、第１の算出のフローチャートである。 図２５は、第２オフセット値の算出処理のフローチャートである。 図２６は、第２の算出のフローチャートである。 図２７は、映像データのシャープネスゲインを調整する処理のフローチャートである。
　（発明の基礎となった知見）
　本発明者は、「背景技術」の欄において記載した、映像処理装置に関し、以下の問題が生じることを見出した。
　映像処理装置は、配信側で生成された映像データを取得し、取得した映像データを復号することで得られた映像データにシャープネスゲインを上げる処理を行う。映像処理装置は、例えば所定の伝送手段を介して映像データを取得するため、所定の伝送手段が影響して、取得した映像データにノイズが含まれる場合がある。また、映像処理装置によって復号された映像データには、配信側装置による符号化の際に生じたノイズ、または、映像処理装置による復号の際に生じたノイズが含まれる場合がある。このように、表示のために最終的に出力される映像には、撮影により得られた映像が配信側装置で符号化されてから映像処理装置で復号されるまでの間にノイズが生じる場合がある。この場合、映像データにはノイズが含まれるため、映像処理装置は、復号により得られた映像データに対してシャープネスゲインを上げる処理を行うと、映像データに含まれるノイズの輪郭を強調することになり、ノイズをより目立たせてしまうおそれがある。
　そこで、本開示は、シャープネスゲインを上げることによるノイズの増幅を抑制することができる映像処理装置などを提供する。
　本開示の一態様に係る映像処理装置は、映像、および、前記映像が存在する空間的な周波数の帯域である第１周波数帯域を示すメタデータを含む映像データを取得する取得部と、前記取得部により取得された前記映像データに含まれる前記映像を構成する複数の領域のうち、前記メタデータで示される前記第１周波数帯域に属する第１領域のシャープネスゲインよりも、前記第１周波数帯域外の帯域である第２周波数帯域に属する第２領域のシャープネスゲインが小さくなるように、前記映像のシャープネスゲインを調整する調整部と、前記調整部により調整された調整後の映像を出力する出力部と、を備える。
　このため、第２周波数帯域に属する第２領域のシャープネスゲインが第１領域よりも上がらないように映像データのシャープネスゲインを調整することができる。よって、シャープネスゲインを上げる処理を行う場合に、撮影により得られた映像が配信側装置で符号化されてから映像処理装置で復号されるまでの間に生じた、第２周波数帯域に属するノイズが第１領域よりも増幅することを抑制することができる。よって、シャープネスゲインを向上させる処理を行うことでノイズが他の映像よりも目立つことを低減することができる。
　また、前記第２周波数帯域は、前記第１周波数帯域を規定する最低周波数よりも低い帯域、または、前記第１周波数帯域を規定する最高周波数よりも高い帯域に含まれてもよい。
　このため、第１周波数帯域を規定する最低周波数よりも低い帯域、または、第１周波数帯域を規定する最高周波数よりも高い帯域に含まれる第２周波数帯域に属する第２領域のシャープネスゲインが第１領域よりも上がらないように映像データのシャープネスゲインを調整することができる。
　また、前記調整部は、前記第２領域のシャープネスゲインに第１の閾値以下の値である第１オフセット値を加算することで、前記映像のシャープネスゲインを調整してもよい。
　このため、映像が存在しない第２周波数帯域に属する第２領域のシャープネスゲインが上がらないように、または、下がるように映像データのシャープネスゲインを調整することができる。よって、シャープネスゲインを上げる処理を行う場合に、撮影により得られた映像が配信側装置で符号化されてから映像処理装置で復号されるまでの間に生じた、第２周波数帯域に属するノイズが増幅することを抑制することができる。特に、ノイズは所定の周波数よりも高い周波数帯域に含まれることが多いため、第２周波数帯域に属する第２領域のシャープネスゲインが上がらないように、または、下がるように映像データのシャープネスゲインを調整することで、より効果的にノイズによる画質の低下を抑制することができる。
　また、前記調整部は、前記第１領域のシャープネスゲインに前記第１の閾値より大きい値である第２オフセット値を加算することで、前記映像のシャープネスゲインを調整してもよい。
　このため、映像が存在する第１領域のシャープネスゲインを向上させることができるため、効果的に画質を改善することができる。
　また、前記第１周波数帯域は、互いに異なる複数の帯域を含み、前記第２オフセット値は、前記複数の帯域にそれぞれ対応する複数の第３オフセット値を含み、前記調整部は、前記複数の帯域毎に当該帯域に属する画素の数をカウントし、前記複数の帯域のうちで属する画素の数が多いほど大きな値になるように前記複数の第３オフセット値を決定してもよい。
　このため、画素数が多いほどシャープネスゲインを向上させるため、効果的に画質を改善することができる。
　また、前記第１の閾値は、０であってもよい。
　また、前記調整部は、さらに、前記映像における複数の画素のそれぞれについて、当該画素を基準とした水平方向または垂直方向に所定の幅にわたる複数の画素の画素値に基づいて、最大差を算出し、所定の範囲内の最大差が算出された第１画素におけるシャープネスゲインにさらに加算する第４オフセット値よりも、前記所定の範囲外の最大差が算出された第２画素におけるシャープネスゲインにさらに加算する第５オフセット値が小さくなるように、前記映像のシャープネスゲインを調整してもよい。
　このため、シャープネスゲインを上げることでより画質が向上しやすい第１画素におけるシャープネスゲインが第２画素におけるシャープネスゲインよりも上がるようにシャープネスゲインを調整することができるため、効果的に画質を改善することができる。
　また、前記所定の範囲内の最大差は、前記所定の範囲外の最大差よりも小さい値、または、前記所定の範囲外の最大差よりも大きい値であってもよい。
　また、前記第４オフセット値は、０より大きい値であり、前記第５オフセット値は、０であってもよい。
　また、本開示の一態様に係る映像処理方法は、映像のシャープネスゲインを調整する映像処理装置によって行われる映像処理方法であって、映像、および、前記映像が存在する空間的な周波数の帯域である第１周波数帯域を示すメタデータを含む映像データを取得し、取得された前記映像データに含まれる前記映像を構成する複数の領域のうち、前記メタデータで示される前記第１周波数帯域に属する第１領域のシャープネスゲインよりも、前記第１周波数帯域外の帯域である第２周波数帯域に属する第２領域のシャープネスゲインが小さくなるように、前記映像のシャープネスゲインを調整し、調整後の映像を出力する。
　このため、映像が存在しない第２周波数帯域に属する第２領域のシャープネスゲインが第１領域よりも上がらないように映像データのシャープネスゲインを調整することができる。よって、シャープネスゲインを上げる処理を行う場合に、撮影により得られた映像が配信側装置で符号化されてから映像処理装置で復号されるまでの間に生じた、第２周波数帯域に属するノイズが第１領域よりも増幅することを抑制することができる。よって、シャープネスゲインを向上させる処理を行うことでノイズが他の映像よりも目立つことを低減することができる。
　また、本開示の一態様に係る映像生成装置は、映像が存在する空間的な周波数の帯域である第１周波数帯域を特定する特定部と、前記映像と、特定した前記第１周波数帯域を示すメタデータとを含む映像データを生成する生成部と、生成した前記映像データを出力する出力部と、を備える。
　これによれば、第１周波数帯域を示すメタデータを含む映像データを出力するため、当該映像データを受信した映像処理装置は、シャープネスゲインを上げることによるノイズの増幅を抑制する処理を容易に行うことができる。
　また、本開示の一態様に係る映像生成方法は、メタデータを含む映像データを生成する映像生成装置によって行われる映像生成方法であって、映像が存在する空間的な周波数の帯域である第１周波数帯域を特定し、前記映像と、特定した前記第１周波数帯域を示すメタデータとを含む映像データを生成し、生成した前記映像データを出力する。
　これによれば、第１周波数帯域を示すメタデータを含む映像データを出力するため、当該映像データを受信した映像処理装置は、シャープネスゲインを上げることによるノイズの増幅を抑制する処理を容易に行うことができる。
　なお、これらの全般的または具体的な態様は、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、集積回路、コンピュータプログラムおよび非一時的な記録媒体の任意な組み合わせで実現されてもよい。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態）
　以下、図１～図１４を用いて、実施の形態を説明する。
　［１．構成］
　図１は、本実施の形態に係る映像システムの概略を示す図である。
　図１に示すように、映像システム１は、配信用データを配信する配信側装置２００と、配信された配信用データを受信する表示装置１００とを備える。
　配信側装置２００は、カメラ２０１と、情報処理装置２０２とにより構成される。情報処理装置２０２は、ビデオカメラなどのカメラ２０１によって撮像された映像を表示装置１００に伝送させるための配信用データに変換し、伝送手段を介して表示装置１００に配信用データを送信する。配信用データは、映像データが圧縮（符号化）された符号化データであってもよいし、映像データおよび音声データが圧縮された後に多重化されることで生成された符号化データであってもよい。
　ここで、伝送手段は、所定のテレビジョン放送規格での放送波を送出するための手段、所定の通信プロトコルでのインターネットのようなネットワークに配信するための手段、または、所定のパッケージメディアに記録し、当該所定のパッケージメディアを販売するための手段である。本実施の形態では、伝送手段として、所定のテレビジョン放送規格での放送波を送出するための手段を用いる場合を例に説明する。
　表示装置１００は、配信用データを受信し、受信した配信用データに含まれる映像データが示す映像を表示する。表示装置１００は、表示パネルを含む表示デバイスを筐体内に格納した、一般的なフラットパネルディスプレイの外観を有している。表示装置１００は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどである。
　なお、表示装置１００は、映像処理装置の一例である。また、情報処理装置２０２は、映像生成装置の一例である。
　図２は、本実施の形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
　図２に示すように、情報処理装置２０２は、ハードウェア構成として、プロセッサ２０３と、メインメモリ２０４と、ストレージ２０５と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）２０６と、入力ＩＦ（Ｉｎｔｅｒｆａｃｅ）２０７と、ディスプレイ２０８とを備える。
　プロセッサ２０３は、ストレージ２０５等に記憶されたプログラムを実行するプロセッサである。
　メインメモリ２０４は、プロセッサ２０３がプログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。
　ストレージ２０５は、プログラムなどの各種データを保持する不揮発性の記憶領域である。
　通信ＩＦ２０６は、カメラ２０１などの外部機器との間でデータの伝送を行うための通信インタフェースである。通信ＩＦ２０６は、例えば、無線ＬＡＮインタフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）インタフェースなどの無線通信のためのインタフェースであってもよい。通信ＩＦ２０６は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、有線ＬＡＮインタフェースなどの有線通信のためのインタフェースであってもよい。なお、通信ＩＦ２０６は、上記に限らずに、通信ネットワークを介して外部機器との間でデータの伝送を行うための通信インタフェースであってもよい。また、通信ＩＦ２０６は、メモリカードなどの記録媒体から記録媒体に格納されているデータを読み出すリーダであってもよい。情報処理装置２０２は、通信ＩＦ２０６においてカメラ２０１と通信接続されており、カメラ２０１から通信ＩＦ２０６を介して映像データを取得する。
　入力ＩＦ２０７は、人からの入力を受け付けるためのインタフェースである。入力ＩＦ２０７は、マウス、タッチパッド、タッチパネル、トラックボールなどのポインティングデバイスであってもよいし、キーボードであってもよい。
　ディスプレイ２０８は、映像データをマスタリングするために、映像データが示す映像を表示するマスターモニタである。例えば、ディスプレイ２０８は、液晶ディスプレイ、有機ＥＬディスプレイなどである。
　図３は、本実施の形態に係る表示装置のハードウェア構成の一例を示すブロック図である。
　図３に示すように、表示装置１００は、チューナ１０１と、デコーダ１０２と、制御回路１０３と、メモリ１０４と、表示デバイス１０５とを備える。
　チューナ１０１は、図示しないアンテナにより受信した放送波を構成するアナログ信号をデジタル信号である符号化データへ変換し、変換することで得られた符号化データをデコーダ１０２に出力する。
　デコーダ１０２は、チューナ１０１から取得した符号化データを復号し、復号することで得られた映像データを制御回路１０３に出力する。デコーダ１０２は、符号化データが多重化されている場合には、符号化データを逆多重化して得られた映像用の符号化データおよび音声用の符号化データを、それぞれ、映像データおよび音声データに復号してもよい。デコーダ１０２は、映像データとともに映像データの付加データであるメタデータをチューナ１０１から取得し、復号してもよい。復号されたメタデータは後述する制御回路１０３によりメモリ１０４に一旦書き込まれる。メタデータは予め配信側装置２００により映像データに付加されて送信される。
　制御回路１０３は、デコーダ１０２により出力された映像データに対して、メタデータに応じて映像処理を行う。制御回路１０３は、映像処理を行うことで得られた映像を、表示デバイス１０５に出力する。これにより、表示デバイス１０５は、表示デバイス１０５の特性とメタデータとに合わせた映像を表示させることができる。なお、デコーダ１０２と制御回路１０３とは、同一の回路で実現されていてもよい。また、制御回路１０３は、所定のプログラムを実行するＣＰＵなどの汎用のプロセッサにより実現されていてもよいし、専用回路により実現されていてもよい。つまり、後述する表示装置１００の機能は、ソフトウェアにより実現されていてもよいし、ハードウェアにより実現されていてもよい。
　メモリ１０４は、制御プログラムを記憶していてもよい。メモリ１０４は、例えば、不揮発性メモリである。
　表示デバイス１０５は、制御回路１０３により出力された映像を表示する。表示デバイス１０５は、表示パネルであり、例えば、液晶パネル、有機ＥＬパネルなどにより構成される。
　図４は、本実施の形態に係る配信側装置の機能構成の一例を示すブロック図である。
　図４に示すように、配信側装置２００は、キャプチャ部２１０と、マスタリング部２２０と、周波数変換部２３０と、エンコーダ２４０とを備える。
　キャプチャ部２１０は、カメラ２０１により撮影された被写体の映像データを取得して、取得した映像データを出力する。キャプチャ部２１０は、例えば、カメラ２０１、および、カメラ２０１と接続される通信ＩＦ２０６により実現される。
　マスタリング部２２０は、制作者からの入力に応じて、ＭＡＸ　ＣＦ（最大映像水平周波数または最大映像垂直周波数）またはＭＩＮ　ＣＦ（最小映像水平周波数または最小映像垂直周波数）を設定し、設定されたＭＡＸ　ＣＦおよび／またはＭＩＮ　ＣＦに応じた映像を示す映像データを生成する。マスタリング部２２０は、例えば、キャプチャ部２１０から得られた映像データをマスターモニタに表示しつつ、映像の制作者からの入力に応じて制作者が意図したＭＡＸ　ＣＦおよびＭＩＮ　ＣＦになるように映像を調整する処理を実行することで、配信用の映像を示す映像データであるマスターデータを生成する。
　具体的には、マスタリング部２２０は、映像データに含まれる周波数成分が入力に応じて設定されたＭＩＮ　ＣＦからＭＡＸ　ＣＦまでの範囲内となるように、映像データに対して上記範囲外の周波数成分をカットするフィルタリング処理をすることでマスターデータを生成してもよい。また、マスタリング部２２０は、映像データに含まれる水平周波数成分のうちの最小周波数をＭＩＮ　ＣＨＦに設定し、当該水平周波数成分のうちの最大周波数をＭＡＸ　ＣＨＦに設定してもよい。同様に、マスタリング部２２０は、映像データに含まれる垂直周波数成分のうちの最小周波数をＭＩＮ　ＣＶＦに設定し、当該垂直周波数成分のうちの最大周波数をＭＡＸ　ＣＶＦに設定してもよい。
　これにより、制作者は、図示しないマスターモニタに出画される編集中の映像と周波数変換された水平／垂直周波数分布データを確認しながらマスターデータを生成することができる。マスタリング部２２０は、周波数の設定で得られたＭＡＸ　ＣＨＦ、ＭＡＸ　ＣＶＦ、ＭＩＮ　ＣＨＦ、および、ＭＩＮ　ＣＶＦを、映像が存在する有効な周波数帯域として特定する。有効な周波数帯域は、第１周波数帯域の一例である。
　マスタリング部２２０は、映像が存在しない周波数の帯域（例ＨＨＬＬ、ＨＨＬＨ、ＨＨＨＬ、ＨＨＨＨ）に対してフィルタリングするようにＭＡＸ　ＣＦおよびＭＩＮ　ＣＦを設定してもよい。映像が存在しない周波数の帯域は、例えば、図５に示すように、映像が周波数分割された複数の帯域（例えば、水平方向に４つ、および、垂直方向に４つの計１６個の帯域）の分布を制作者が確認しながら行った入力に応じて設定される。マスタリング部２２０は、例えば、ＭＡＸ　ＣＨＦを０．７５に設定し、ＭＡＸ　ＣＶＦを１．００に設定し、ＭＩＮ　ＣＨＦを０に設定し、ＭＩＮ　ＣＶＦを０．２５に設定してもよい。なお、ＭＡＸ　ＣＨＦは水平方向におけるＭＡＸ　ＣＦであり、ＭＡＸ　ＣＶＦは垂直方向におけるＭＡＸ　ＣＦであり、ＭＩＮ　ＣＨＦは水平方向におけるＭＩＮ　ＣＦであり、ＭＩＮ　ＣＶＦは垂直方向におけるＭＩＮ　ＣＦである。ＭＡＸ　ＣＨＦが１．００であることは、映像データの水平方向クロック周波数の１／２であることを示す。また、ＭＡＸ　ＣＶＦが１．００であることは、映像データの垂直方向クロック周波数の１／２であることを示す。
　マスタリング部２２０は、映像を周波数分割した後に、周波数分割された複数の帯域の映像を周波数合成してもよい。また、マスタリング部２２０は、周波数分割された複数の帯域の映像のうちの全部または一部の映像をフィルタリングして、フィルタリング後の複数の映像を周波数合成してもよい。なお、一部の映像とは、複数の帯域の映像のうちのｎ個（ｎは自然数）の映像である。例えば、マスタリング部２２０は、周波数分割された複数の帯域の映像のうち、ＬＬＬＬ、ＬＨＬＬ、ＨＬＬＬ、ＨＨＬＨ、ＨＨＨＬ、ＨＨＨＨのフィルタとして、当該帯域をカットするフィルタリング処理、または、当該帯域のゲインを下げるフィルタリング処理を行ってもよい。
　なお、周波数の帯域が１６個に分割される場合、図５に示すように、周波数の帯域のそれぞれがＬおよびＨの組合せの４桁の文字で示されている。各帯域を示す４桁の文字の組み合わせのうち、前半の２桁の文字は水平方向の周波数帯域を示し、後半の２桁の文字は垂直方向の周波数帯域を示す。各方向における２桁の文字は、例えば、ＬＬ、ＬＨ、ＨＬ、ＨＨの順に周波数が高い帯域を示している。
　なお、周波数の帯域は、水平方向に４つ、及び、垂直方向に４つの計１６個の帯域に分割されることに限らずに、水平方向に３つ、及び、垂直方向に３つの計９個の帯域に分割されてもよい。また、水平方向に分割される数と、垂直方向に分割される数とは、等しくてもよいし、異なっていてもよい。
　なお、マスタリング部２２０は、ＭＡＸ　ＣＨＦ、ＭＡＸ　ＣＶＦ、ＭＩＮ　ＣＨＦ、および、ＭＩＮ　ＣＶＦを決定するとしたが、映像が含まれる周波数帯域が示されていればよいため、ＭＡＸ　ＣＨＦ、ＭＡＸ　ＣＶＦ、ＭＩＮ　ＣＨＦ、および、ＭＩＮ　ＣＶＦのうちの少なくとも１つを決定すればよい。
　また、マスタリング部２２０は、キャプチャ部２１０から得られた映像データの映像をマスターモニタに表示しつつ、映像の制作者からの入力に応じて制作者が意図した輝度や色合いで映像が表示されるように映像データを調整する処理を実行することで、配信用の映像を示す映像データであるマスターデータを生成してもよい。
　マスタリング部２２０は、例えば、情報処理装置２０２の、プロセッサ２０３、メインメモリ２０４およびストレージ２０５により実現される。マスタリング部２２０は、プロセッサ２０３がストレージ２０５に格納されているプログラムを、メインメモリ２０４を用いて実行することにより実現される。
　周波数変換部２３０は、マスタリング部２２０で調整された映像データの映像を周波数分割し、複数の帯域に周波数分割された映像の映像データをマスタリング部２２０に返す。周波数変換部２３０は、例えば、離散コサイン変換（ＤＣＴ）、離散ウェーブレット変換（ＤＷＴ）などを用いて映像を周波数分割してもよい。周波数変換部２３０は、例えば、情報処理装置２０２の、プロセッサ２０３、メインメモリ２０４およびストレージ２０５により実現される。周波数変換部２３０は、プロセッサ２０３がストレージ２０５に格納されているプログラムを、メインメモリ２０４を用いて実行することにより実現される。
　エンコーダ２４０は、マスタリング部２２０において生成されたマスターデータと、ＭＡＸ　ＣＨＦ、ＭＡＸ　ＣＶＦ、ＭＩＮ　ＣＨＦ、および、ＭＩＮ　ＣＶＦの少なくとも１つとを、符号化することで映像データを生成する。ＭＡＸ　ＣＨＦ、ＭＡＸ　ＣＶＦ、ＭＩＮ　ＣＨＦ、および、ＭＩＮ　ＣＶＦは、決定された映像が存在する周波数帯域を示すメタデータ（周波数情報）である。エンコーダ２４０は、マスターデータに対し、映像圧縮規格による符号化を実行する。エンコーダ２４０は、符号化された映像用の符号化データと、メタデータとを含む映像データを伝送路へ出力する。なお、図示していないが、エンコーダ２４０が出力する圧縮された映像用の符号化データを含む配信用データは、映像用の他に、音声用、字幕用などの他の種類のメディア用の符号化データを含んでいてもよい。また、メタデータは、周波数情報以外の情報、例えば、輝度値の最大値、平均値を示す情報を含んでいてもよい。エンコーダ２４０は、例えば、情報処理装置２０２の、プロセッサ２０３、メインメモリ２０４、ストレージ２０５、通信ＩＦ２０６により実現される。エンコーダ２４０は、プロセッサ２０３がストレージ２０５に格納されているプログラムを、メインメモリ２０４を用いて実行することにより実現される。
　なお、配信側装置２００は、制作者の入力に応じて指定された周波数帯域に設定されるように映像データを調整することで指定された周波数帯域を映像が存在する周波数帯域に設定としたが、これに限らずに、映像データの映像の周波数分布を解析することで映像が存在する周波数帯域を特定してもよい。
　上述したように、配信側装置２００は、設定されたＭＡＸ　ＣＦおよびＭＩＮ　ＣＦをメタデータとして含む映像データを生成し、生成した映像データが符号化された配信用データ（符号化データ）を配信する。これにより、配信側装置２００は、コンテンツの映像（以下、「コンテンツ」と言う）の映像データにおいてコンテンツが存在する有効な周波数範囲を示すことができる。なお、映像データにおいてコンテンツ（映像）が存在する周波数帯域を有効な周波数帯域と呼び、コンテンツ（映像）が存在しない周波数帯域を有効ではない無効な周波数帯域と呼ぶ。無効な周波数帯域は、第２周波数帯域の一例である。
　このため、受信側の表示装置１００は、有効な周波数範囲が示されるメタデータを参照することで、映像データが示す映像を表示する際の画質改善処理である輪郭補正処理やノイズリダクション処理を適切に行うことができる。表示装置１００は、具体的には、ＭＡＸ　ＣＦ以上の周波数の高い帯域の輪郭補正処理のゲインを下げる、または、オフにする、または、ノイズリダクション処理のゲインを上げる処理を、画質改善処理として行ってもよい。また、表示装置１００は、ＭＩＮ　ＣＦ以下の周波数の低い帯域の輪郭補正処理のゲインを下げる、または、オフにする、ノイズリダクション処理のゲインを上げる処理を、画質改善処理として行ってもよい。表示装置１００は、このような画質改善処理を行うことにより、配信される実際のコンテンツの有効ではない周波数帯域に対して画質処理を適切に行うことができる。このため、表示装置１００は、配信側装置２００と受信側の表示装置１００との間の伝送路で生じた不要なノイズ成分を低減することができ、有効な映像信号処理の周波数帯域における解像度や鮮鋭度などの画質を効果的に向上させることができる。また、表示装置１００は、配信側装置２００における符号化の際に生じたノイズ、または、表示装置１００における復号の際に生じたノイズを低減することができる。
　また、配信側における映像データの符号化では、ＭＰＥＧ２やＨ．２６５が広くテレビジョン放送やネット配信などに使用されており、映像データを周波数変換して水平、垂直に周波数分割し、帯域毎に量子化係数を調整することで圧縮率を向上させている。符号化では、高解像度の絵柄部分の劣化を検知しにくい人間の視覚特性を利用することで、周波数成分が高い帯域（例えば、図５に示すＨＨＬＬ、ＨＨＬＨ、ＨＨＨＬおよびＨＨＨＨの帯域）の量子化係数を低くする、または、ゼロにする。これにより、画質の劣化を抑制しつつ、符号化における映像データの圧縮率を向上させることができる。
　また、さらに、大幅な圧縮率の向上を実現するために、周波数変換後に最も情報量が多くなる周波数成分の低い帯域（例えば、図５に示すＬＬＬＬ、ＬＨＬＬ、ＨＬＬＬおよびＨＨＬＬ）の量子化係数も低くすることが考えられる。
　このように、配信側装置２００は、コンテンツの映像データにメタデータを含めることで、量子化係数を低減させて圧縮する周波数範囲を示すことができるため、受信側の表示装置１００は、映像データにメタデータとして示される周波数範囲を参照して、コンテンツの映像データに含まれる映像を表示する際の画質改善処理である輪郭補正処理やノイズリダクション処理を適切に行うことができる。
　表示装置１００は、具体的には、ＭＡＸ　ＣＦ以上の高い周波数帯域の輪郭補正処理のゲインを下げる、または、オフにする、または、ノイズリダクション処理のゲインを上げる処理を画質改善処理として行ってもよい。また、表示装置１００は、ＭＩＮ　ＣＦ以下の周波数の低い帯域の輪郭補正処理のゲインを下げる、または、オフにする、または、ノイズリダクション処理のゲインを上げる処理を画質改善処理として行ってもよい。表示装置１００は、このような画質改善処理を行うことにより、配信される実際のコンテンツの映像データの符号化時に劣化する周波数帯域に対して画質処理を適切に行うことができ、配信側装置２００の符号化処理で生じた不要なノイズ成分を効果的に低減することができる。また、画質改善処理を行うことにより、表示装置１００は、映像が存在する有効な周波数帯域における解像度感、鮮鋭度などの画質を効果的に向上させることができる。
　次に、表示装置の機能構成について説明する。
　図６は、本実施の形態に係る表示装置の機能構成の一例を示すブロック図である。
　図６に示すように、表示装置１００は、機能構成として、取得部１１０と、調整部１２０と、出力部１３０とを備える。
　取得部１１０は、伝送手段を介して配信用データを取得する。そして、取得部１１０は、配信用データを復号することにより、映像データを取得する。取得部１１０は、例えば、チューナ１０１、デコーダ１０２などにより実現される。
　調整部１２０は、制御部１２１と、記憶部１２２と、抽出部１２３と、第１補正部１２４と、第２補正部１２５とを有する。
　制御部１２１は、映像データに含まれるメタデータであるＭＡＸ　ＣＨＦ、ＭＡＸ　ＣＶＦ、ＭＩＮ　ＣＨＦ、および、ＭＩＮ　ＣＶＦを用いて、有効な周波数帯域を特定し、特定した有効な周波数帯域における映像を分析する。そして、制御部１２１は、有効な周波数帯域における映像を周波数分割するための周波数セットデータを映像データに応じて適応的に生成する。制御部１２１は、記憶部１２２に記憶されている周波数セットデータの初期値を記憶部１２２から読み出して、読み出した周波数セットデータの初期値と、映像データに含まれるメタデータと、有効な周波数帯域における映像とを用いて、周波数セットデータを生成する。制御部１２１は、有効な周波数帯域の最も低い帯域を指定する周波数の閾値ＨＦ１、ＶＦ１と、最も高い帯域を指定する周波数の閾値ＨＦ４、ＨＦ４との値を適応的に決定する。閾値ＨＦ１は、水平方向における有効な周波数帯域の最低周波数を示す。閾値ＶＦ１は、垂直方向における有効な周波数帯域の最低周波数を示す。閾値ＨＦ４は、水平方向における有効な周波数帯域の最高周波数を示す。閾値ＶＦ４は、垂直方向における有効な周波数帯域の最高周波数を示す。閾値ＨＦ１、ＶＦ１、ＨＦ４、ＶＦ４は、それぞれ、ＭＡＸ　ＣＨＦ、ＭＡＸ　ＣＶＦ、ＭＩＮ　ＣＨＦ、および、ＭＩＮ　ＣＶＦに対応する（図８参照）。
　また、制御部１２１は、ディテイル閾値と、ディテイルセットデータとを生成する。ディテイル閾値は、映像を構成する各領域（例えば、各画素）がプレーン領域であるかディテイル領域であるかエッジ領域であるかを判定するための閾値である。ディテイルセットデータは、プレーン領域と判定された領域（画素）に適用するシャープネスゲインのオフセット値、ディテイル領域であると判定された領域（画素）に適用するシャープネスゲインのオフセット値、および、エッジ領域であると判定された領域（画素）に適用するシャープネスゲインのオフセット値を示すデータである。なお、プレーン領域、ディテイル領域、および、エッジ領域は、領域（画素）の画素値の振幅の最大差に応じた分類を示し、プレーン領域よりもディテイル領域の方が画素値の振幅の最大差が大きく、ディテイル領域よりもエッジ領域の方が画素値の振幅の最大差が大きいことを示す。制御部１２１は、記憶部１２２に記憶されているディテイル閾値の初期値と、ディテイルセットデータの初期値とを、記憶部１２２から読み出して、読み出したディテイル閾値の初期値およびディテイルセットデータの初期値を、有効な周波数帯域における映像の周波数帯域毎の画素の数を示すヒストグラムを用いて、ヒストグラムに応じたディテイル閾値およびディテイルセットデータを生成してもよい。
　また、制御部１２１は、ＭＡＸ　ＣＨＦ、ＭＡＸ　ＣＶＦ、ＭＩＮ　ＣＨＦ、および、ＭＩＮ　ＣＶＦと、有効な周波数帯域における映像の周波数帯域毎の画素の数を示すヒストグラムとを用いて、輪郭補正処理に用いるシャープネスゲインを設定するためのセットテーブルを生成する。制御部１２１は、記憶部１２２に記憶されているセットテーブルの初期値を記憶部１２２から読み出して、読み出したセットテーブルの初期値を、周波数情報およびヒストグラムを用いて、周波数情報およびヒストグラムに応じたセットテーブルを生成してもよい。
　ここで、輪郭補正処理は、映像の解像度感または鮮鋭度を向上させるために映像データに対して行われる処理である。このため、映像データに対して輪郭補正処理が行うことで、得られた映像データの映像の解像度感または鮮鋭度を向上させることができる。シャープネスゲインは、輪郭補正処理のゲインが定められたパラメータである。なお、シャープネスゲインが０の場合の輪郭補正処理の結果は、輪郭補正処理が行われていないときと同じ結果となる。この場合、映像の解像度感または鮮鋭度は、輪郭補正処理の前後で変化しない。
　なお、制御部１２１は、制御回路１０３により実現される。具体的には、制御部１２１は、制御回路１０３によりメモリ１０４に格納される所定のプログラムが実行されることにより実現される。
　記憶部１２２は、周波数セットデータ、ディテイル閾値、ディテイルセットデータおよびゲインセットテーブルのそれぞれの初期値を記憶している。記憶部１２２は、メモリ１０４により実現される。
　抽出部１２３は、映像データの映像を水平方向の周波数帯域および垂直方向の周波数帯域のそれぞれにおいて複数に分割することで、複数の帯域を抽出する。抽出部１２３の詳細について、図７～図１３を用いて説明する。
　図７は、抽出部の詳細な構成の一例を示すブロック図である。図８は、周波数分割された複数の帯域について説明するための図である。図９は、水平方向の周波数帯域において分割される複数の帯域を定義するための図である。図１０は、垂直方向の周波数帯域において分割される複数の帯域を定義するための図である。図１１は、垂直方向の帯域Ｖ２の列の各帯域に属する画素数を示すヒストグラムである。図１２は、垂直方向の帯域Ｖ２の列の各帯域に対応するシャープネスゲインの第１オフセットカーブを示すグラフである。図１３は、各帯域に対応するシャープネスゲインのオフセット値を示すテーブルである。
　抽出部１２３は、図７に示すように、５つの水平抽出部３０１～３０５と、５つの垂直抽出部３１１～３１５と、２５個の計数部３２１～３４５とを有する。
　５つの水平抽出部３０１～３０５は、図８に示すように、それぞれ、周波数セットデータで示される水平方向の周波数帯域における閾値ＨＦ１、ＨＦ２、ＨＦ３、ＨＦ４を用いてフィルタリングすることで、映像を水平方向に分割した５つの帯域を抽出する。具体的には、水平抽出部３０１は、閾値ＨＦ１未満の周波数帯域の水平帯域Ｈ０を抽出する。水平抽出部３０２は、閾値ＨＦ１より大きく、かつ、閾値ＨＦ２未満の周波数帯域の水平帯域Ｈ１を抽出する。水平抽出部３０３は、閾値ＨＦ２より大きく、かつ、閾値ＨＦ３未満の周波数帯域の水平帯域Ｈ２を抽出する。水平抽出部３０４は、閾値ＨＦ３より大きく、かつ、閾値ＨＦ４未満の周波数帯域の水平帯域Ｈ３を抽出する。水平抽出部３０５は、閾値ＨＦ４より大きい周波数帯域の水平帯域Ｈ４を抽出する。
　なお、閾値ＨＦ１は、水平帯域Ｈ０および水平帯域Ｈ１のいずれか一方に含まれていればよい。閾値ＨＦ２は、水平帯域Ｈ１および水平帯域Ｈ２のいずれか一方に含まれていればよい。閾値ＨＦ３は、水平帯域Ｈ２および水平帯域Ｈ３のいずれか一方に含まれていればよい。閾値ＨＦ４は、水平帯域Ｈ３および水平帯域Ｈ４のいずれか一方に含まれていればよい。
　なお、５つの水平抽出部３０１～３０５は、図９に示すように、各閾値ＨＦ１、ＨＦ２、ＨＦ３、ＨＦ４の周辺の帯域において、各閾値ＨＦ１、ＨＦ２、ＨＦ３、ＨＦ４で分割される２つの帯域に重み付けられて定義されてもよい。つまり、閾値ＨＦ１の周辺の帯域（つまり、閾値ＨＦ１を中心とする第１範囲の帯域）は、周波数が大きいほど水平帯域Ｈ１の重みが大きくなるように帯域が定義されてもよい。例えば、周波数が閾値ＨＦ１の画素の場合、当該画素は、図９の閾値ＨＦ１は、水平帯域Ｈ０に対応するゲインが０．５であり、水平帯域Ｈ１に対応するゲインが０．５であるため、０．５個分の画素が水平帯域Ｈ０に属し、０．５個分の画素が水平帯域Ｈ１に属することを意味する。言い換えると、画素の周波数が閾値の周辺の帯域に属しており、閾値が第１水平帯域および第２水平帯域の間の閾値である場合、当該画素に対応する第１水平帯域のゲインの値で示される個数分の画素が第１水平帯域に属し、当該画素に対応する第２水平帯域のゲインの値で示される個数分の画素が第２水平帯域に属することを意味する。
　５つの垂直抽出部３１１～３１５は、図８に示すように、水平抽出部３０１～３０５で抽出された水平帯域Ｈ０～Ｈ４それぞれに対して、周波数セットデータで示される垂直方向の周波数帯域における閾値ＶＦ１、ＶＦ２、ＶＦ３、ＶＦ４を用いてフィルタリングする。これにより、５つの垂直抽出部３１１～３１５は、水平抽出部３０１～３０５で抽出された水平帯域Ｈ０～Ｈ４それぞれに対して、垂直方向に分割した５つの帯域を抽出する。これにより、映像は、水平方向で５つ、および、垂直方向で５つの２５個の帯域に分割される。
　具体的には、垂直抽出部３１１は、閾値ＶＦ１未満の周波数帯域の垂直帯域Ｖ０を抽出する。垂直抽出部３１２は、閾値ＶＦ１より大きく、かつ、閾値ＶＦ２未満の周波数帯域の垂直帯域Ｖ１を抽出する。垂直抽出部３１３は、閾値ＶＦ２より大きく、かつ、閾値ＶＦ３未満の周波数帯域の垂直帯域Ｖ２を抽出する。垂直抽出部３１４は、閾値ＶＦ３より大きく、かつ、閾値ＶＦ４未満の周波数帯域の垂直帯域Ｖ３を抽出する。垂直抽出部３１５は、閾値ＶＦ４より大きい周波数帯域の垂直帯域Ｖ４を抽出する。
　なお、閾値ＶＦ１は、垂直帯域Ｖ０および垂直帯域Ｖ１のいずれか一方に含まれていればよい。閾値ＶＦ２は、垂直帯域Ｖ１および垂直帯域Ｖ２のいずれか一方に含まれていればよい。閾値ＶＦ３は、垂直帯域Ｖ２および垂直帯域Ｖ３のいずれか一方に含まれていればよい。閾値ＶＦ４は、垂直帯域Ｖ３および垂直帯域Ｖ４のいずれか一方に含まれていればよい。
　なお、５つの垂直抽出部３１１～３１５は、図１０に示すように、各閾値ＶＦ１、ＶＦ２、ＶＦ３、ＶＦ４の周辺の帯域において、各閾値ＶＦ１、ＶＦ２、ＶＦ３、ＶＦ４で分割される２つの帯域に重み付けられて定義されてもよい。つまり、閾値ＶＦ１の周辺の帯域（つまり、閾値ＶＦ１を中心とする第１範囲の帯域）は、周波数が大きいほど垂直帯域Ｖ１の重みが大きくなるように帯域が定義されてもよい。例えば、周波数が閾値ＶＦ１の画素の場合、当該画素は、図１０の閾値ＶＦ１は、垂直帯域Ｖ０に対応するゲインが０．５であり、垂直帯域Ｖ１に対応するゲインが０．５であるため、０．５個分の画素が垂直帯域Ｖ０に属し、０．５個分の画素が垂直帯域Ｖ１に属することを意味する。言い換えると、画素の周波数が閾値の周辺の帯域に属しており、閾値が第１垂直帯域および第２垂直帯域の間の閾値である場合、当該画素に対応する第１垂直帯域のゲインの値で示される個数分の画素が第１垂直帯域に属し、当該画素に対応する第２垂直帯域のゲインの値で示される個数分の画素が第２垂直帯域に属することを意味する。
　なお、閾値ＨＦ１、ＨＦ２、ＨＦ３、ＨＦ４のうちの隣り合う２つの閾値の差は、一定の値でなくてもよい。つまり、水平帯域Ｈ０～Ｈ４の帯域幅は、互いに等しくなくてもよい。例えば、水平帯域Ｈ０、Ｈ４の帯域幅は、他の水平帯域Ｈ１～Ｈ３の帯域幅よりも小さくてもよい。同様に、閾値ＶＦ１、ＶＦ２、ＶＦ３、ＶＦ４のうちの隣り合う２つの閾値の差は、一定の値でなくてもよい。つまり、垂直帯域Ｖ０～Ｖ４の帯域幅は、互いに等しくなくてもよい。例えば、垂直帯域Ｖ０、Ｖ４の帯域幅は、他の垂直帯域Ｖ１～Ｖ３の帯域幅よりも小さくてもよい。
　２５個の計数部３２１～３４５は、図８に示すように、水平方向に分割された水平帯域Ｈ０～Ｈ４のそれぞれ、かつ、垂直方向に分割された垂直帯域Ｖ０～Ｖ４のそれぞれで規定される２５個の帯域Ｖ０Ｈ０～Ｖ４Ｈ４のそれぞれについて、当該帯域に属する画素の数をカウントする。つまり、５個の計数部３２１～３２５は、それぞれ、垂直帯域Ｖ０かつ水平帯域Ｈ０で規定される帯域Ｖ０Ｈ０、垂直帯域Ｖ０かつ水平帯域Ｈ１で規定される帯域Ｖ０Ｈ１、垂直帯域Ｖ０かつ水平帯域Ｈ２で規定される帯域Ｖ０Ｈ２、垂直帯域Ｖ０かつ水平帯域Ｈ３で規定される帯域Ｖ０Ｈ３、垂直帯域Ｖ０かつ水平帯域Ｈ４で規定される帯域Ｖ０Ｈ４に属する画素の数をカウントする。５個の計数部３２６～３３０は、それぞれ、垂直帯域Ｖ１かつ水平帯域Ｈ０で規定される帯域Ｖ１Ｈ０、垂直帯域Ｖ１かつ水平帯域Ｈ１で規定される帯域Ｖ１Ｈ１、垂直帯域Ｖ１かつ水平帯域Ｈ２で規定される帯域Ｖ１Ｈ２、垂直帯域Ｖ１かつ水平帯域Ｈ３で規定される帯域Ｖ１Ｈ３、垂直帯域Ｖ１かつ水平帯域Ｈ４で規定される帯域Ｖ１Ｈ４に属する画素の数をカウントする。５個の計数部３３１～３３５は、それぞれ、垂直帯域Ｖ２かつ水平帯域Ｈ０で規定される帯域Ｖ２Ｈ０、垂直帯域Ｖ２かつ水平帯域Ｈ１で規定される帯域Ｖ２Ｈ１、垂直帯域Ｖ２かつ水平帯域Ｈ２で規定される帯域Ｖ２Ｈ２、垂直帯域Ｖ２かつ水平帯域Ｈ３で規定される帯域Ｖ２Ｈ３、垂直帯域Ｖ２かつ水平帯域Ｈ４で規定される帯域Ｖ２Ｈ４に属する画素の数をカウントする。５個の計数部３３６～３４０は、それぞれ、垂直帯域Ｖ３かつ水平帯域Ｈ０で規定される帯域Ｖ３Ｈ０、垂直帯域Ｖ３かつ水平帯域Ｈ１で規定される帯域Ｖ３Ｈ１、垂直帯域Ｖ３かつ水平帯域Ｈ２で規定される帯域Ｖ３Ｈ２、垂直帯域Ｖ３かつ水平帯域Ｈ３で規定される帯域Ｖ３Ｈ３、垂直帯域Ｖ３かつ水平帯域Ｈ４で規定される帯域Ｖ３Ｈ４に属する画素の数をカウントする。５個の計数部３４１～３４５は、それぞれ、垂直帯域Ｖ４かつ水平帯域Ｈ０で規定される帯域Ｖ４Ｈ０、垂直帯域Ｖ４かつ水平帯域Ｈ１で規定される帯域Ｖ４Ｈ１、垂直帯域Ｖ４かつ水平帯域Ｈ２で規定される帯域Ｖ４Ｈ２、垂直帯域Ｖ４かつ水平帯域Ｈ３で規定される帯域Ｖ４Ｈ３、垂直帯域Ｖ４かつ水平帯域Ｈ４で規定される帯域Ｖ４Ｈ４に属する画素の数をカウントする。
　２５個の計数部３２１～３４５のそれぞれは、対応する帯域における画素の数をカウントすることで、２５個のカウント結果である抽出データが得られる。なお、抽出データは、例えば、２５個の帯域のそれぞれについて、当該帯域を特定するための帯域情報と、当該帯域に属する画素の画素数とを含んでもよい。生成された２５個の抽出データは、第１補正部１２４に出力される。また、抽出部１２３は、２５個の帯域のそれぞれについて、当該帯域を特定するための帯域情報と、当該帯域に属する１以上の画素を示す画素情報とを示す帯域映像データを第１補正部１２４に出力してもよい。
　抽出部１２３は、２５個の抽出データを用いて、各帯域の画素数を示すヒストグラムを生成する。抽出部１２３は、例えば、垂直方向の帯域Ｖ２の列の複数の帯域のそれぞれに属する画素の数をカウントした結果として、図１１に示すようなヒストグラムを生成することができる。なお、図１１は、垂直方向の帯域Ｖ２の列の複数の帯域に属する画素の数を一例として示しているが、抽出部１２３により生成されるヒストグラムには、２５個の帯域のそれぞれに属する画素の数をカウントした結果が示される。生成されたヒストグラムは、制御部１２１に出力される。なお、抽出部１２３は、制御回路１０３により実現される。具体的には、抽出部１２３は、制御回路１０３によりメモリ１０４に格納される所定のプログラムが実行されることにより実現される。
　制御部１２１は、映像を構成する複数の領域のうち、メタデータで示される有効な周波数帯域に属する第１領域のシャープネスゲインよりも、有効な周波数帯域外の帯域である無効な周波数帯域に属する第２領域のシャープネスゲインが小さくなるように、映像のシャープネスゲインを調整する。複数の領域は、例えば、複数の画素であってもよいし、複数のブロックであってもよい。具体的には、制御部１２１は、無効な周波数帯域の映像のシャープネスゲインに第１の閾値以下の値である第１オフセット値を加算することで、映像のシャープネスゲインを調整する。また、制御部１２１は、有効な周波数帯域の映像のシャープネスゲインに第１の閾値より大きい値である第２オフセット値を加算することで、映像のシャープネスゲインを調整する。なお、第１の閾値は、例えば、０である。つまり、無効な周波数帯域に属する第２領域のシャープネスゲインを調整するための第１オフセット値は、０以下の値である。また、有効な周波数帯域に属する第１領域のシャープネスゲインを調整するための第２オフセット値は、０より大きい値である。
　例えば、図１３において、配信側装置２００において設定されたコンテンツの映像データにおける無効な周波数帯域である帯域Ｖ０Ｈ０－Ｖ４Ｈ０、Ｖ０Ｈ１、Ｖ４Ｈ１、Ｖ０Ｈ２、Ｖ４Ｈ２、Ｖ０Ｈ３、Ｖ４Ｈ３、Ｖ０Ｈ４－Ｖ４Ｈ４の周波数帯域は、配信側装置２００で生成された映像が存在しない周波数帯域である。このため、制御部１２１は、ゲインセットテーブルの初期値であるシャープネスゲインを基準として、無効な周波数帯域に属する複数の帯域におけるシャープネスゲインを０にする第１オフセット値を算出する。第１オフセット値は、例えば、ゲインセットテーブルの初期値の絶対値と等しい負の数である。例えば、図１２において、帯域Ｖ２Ｈ０、Ｖ２Ｈ４の周波数帯域は、配信側装置２００で生成された無効な周波数帯域である。このため、制御部１２１は、帯域Ｖ２Ｈ０、Ｖ２Ｈ４の周波数帯域におけるシャープネスゲインの初期値を基準に帯域Ｖ２Ｈ０、Ｖ２Ｈ４の周波数帯域におけるシャープネスゲインを０に調整するために、負の第１オフセット値ΔＧＡを決定する。なお、シャープネスゲインの初期値は、図１２に示すように、周波数帯域にかかわらず正の値に設定されている。これにより、調整部１２０は、配信される実際のコンテンツの無効な周波数帯域の映像の帯域に対してシャープネスゲインを上げないため、シャープネスゲインを上げることによる、配信側と受信側との間の伝送路で生じた高周波帯域のノイズに対するシャープネスゲインの増幅を抑制することができる。
　なお、制御部１２１は、第１オフセット値を、ゲインセットテーブルの初期値の絶対値と等しい負の数としたが、これに限らずに、ゲインセットテーブルの初期値の絶対値より大きい負の数としてもよい。これにより、無効な周波数帯域の画素におけるシャープネスゲインを負の値に設定することができ、無効な周波数帯域の画素にノイズリダクション効果を与えることができる。
　また、図１２において、帯域Ｖ２Ｈ１、Ｖ２Ｈ２、Ｖ２Ｈ３は、配信側装置２００で生成された有効な周波数帯域である。このため、制御部１２１は、帯域Ｖ２Ｈ１、Ｖ２Ｈ２、Ｖ２Ｈ３の周波数帯域におけるシャープネスゲインの初期値よりも大きいシャープネスゲインに調整するために、正の第２オフセット値ΔＧＢを決定する。
　また、制御部１２１は、さらに、抽出部１２３から取得したヒストグラムを用いて、周波数領域における複数の帯域のうちで属する画素の数が多いほど大きな値になるように複数の第３オフセット値を決定してもよい。なお、複数の第３オフセット値は、第２オフセット値を含んでもよい。制御部１２１は、例えば、図１２に示すように、垂直方向の帯域Ｖ２の列の複数の帯域Ｖ２Ｈ０～Ｖ２Ｈ４における有効な周波数帯域に属する帯域Ｖ２Ｈ１～Ｖ２Ｈ３のうちで、最も画素数が多い帯域Ｖ２Ｈ３に最も大きい値のオフセット値ΔＧＥを決定する。制御部１２１は、２番目に多い帯域Ｖ２Ｈ１に２番目に大きい値のオフセット値ΔＧＤを決定する。制御部１２１は、３番目に多い帯域Ｖ２Ｈ３に３番目に大きい値のオフセット値ΔＧＦを決定する。
　例えば、図１３において、配信側装置２００において設定されたコンテンツの映像データにおける有効な周波数帯域である、帯域Ｖ１Ｈ１－Ｖ３Ｈ１、Ｖ１Ｈ２－Ｖ３Ｈ２、Ｖ１Ｈ３－Ｖ３Ｈ３の周波数帯域は、配信側装置２００で生成された映像が存在する周波数帯域である。このため、有効な周波数帯域の映像に対して解像度または鮮鋭度を高めるために、制御部１２１は、ゲインセットテーブルの初期値であるシャープネスゲインを基準として、シャープネスゲインを増幅させる第２オフセット値を算出する。第２オフセット値は、例えば、正の数である。また、制御部１２１は、ヒストグラムに基づいて、属する画素数が多いほど正のオフセット値（Ａ～Ｉ）が大きくなるように第３オフセット値を算出する。これにより、調整部１２０は、映像において多くの画素を有する周波数帯域の映像データに対するシャープネスゲインを上げることができ、見た目の解像度感、鮮鋭度感を向上させることができる。
　なお、制御部１２１は、複数の周波数帯域のそれぞれについて第１オフセット値および第２オフセット値を含む調整後のゲインセットテーブルを生成し、生成した調整後のゲインセットテーブルを第２補正部１２５に出力する。
　次に、第１補正部１２４について、図１４～図１９を用いて説明する。図１４は、第１補正部の詳細な構成の一例を示すブロック図である。図１５は、検出部の詳細な構成の一例を示すブロック図である。図１６は、映像を構成する領域の種類を判定するためのディテイル閾値を示す図である。図１７は、領域の種類の判定結果の一例を示す図である。図１８は、第２オフセットカーブを示すグラフである。図１９は、ディテイルセットデータの一例を示す表である。
　第１補正部１２４は、図１４に示すように、２５個の検出部４０１～４２５を有する。２５個の検出部４０１～４２５は、それぞれ、２５個の帯域Ｖ０Ｈ０～Ｖ４Ｈ４に対応しており、対応する帯域に含まれる画素が属する、領域の種類を検出する。２５個の検出部４０１～４２５のそれぞれは、図１５に示すように、ディテイル判定部４３１と、カーブ生成部４３２とを有する。
　ディテイル判定部４３１は、対応する検出部に入力される帯域映像データの振幅に基づいて、帯域映像データの各画素がプレーン領域であるか、ディテイル領域であるか、エッジ領域であるかの判定を行う。振幅は、具体的には、画素の画素値に基づく値である。振幅は、例えば、映像データがＹＵＶ信号で示されている場合において輝度Ｙであり、映像データがＲＧＢ信号で示されている場合において映像データに含まれる画素の画素値におけるＲ成分、Ｇ成分、およびＢ成分のうちの最大値を示すＭａｘＲＧＢである。ディテイル判定部４３１は、具体的には、帯域映像データにおいて処理対象となる画素を基準（中心）とした水平方向または垂直方向に所定の幅の複数の画素の画素値に基づいて、最大差を算出する。所定の幅とは、例えば、水平方向または垂直方向における所定のクロック数分の幅である。最大差とは、所定の幅に含まれる複数の画素の画素値の最大値および最小値の差である。
　ディテイル判定部４３１は、帯域映像データ、抽出データ、および、ディテイル閾値を用いて、所定の範囲内の最大差が算出された第１画素におけるシャープネスゲインにさらに加算する第４オフセット値よりも、所定の範囲外の最大差が算出された第２画素におけるシャープネスゲインにさらに加算する第５オフセット値が小さくなるように、映像のシャープネスゲインを調整する。所定の範囲は、図１６に示すように、ディテイル領域と判定される範囲であり、例えば、閾値ＴＨＰより大きく、閾値ＴＨＤよりも小さい範囲である。第４オフセット値は、例えば、図１９のディテイルセットデータで示されるように、０より大きい値である＋Ｘである。第５オフセット値は、例えば、図１９のディテイルセットデータで示されるように、±０である。
　ディテイル判定部４３１は、図１６および図１７の（ａ）に示すように、処理対象の画素の画素値に基づく振幅の最大差ΔＤｐが閾値ＴＨＰ未満の場合、当該画素の領域の種類をプレーン領域であると判定する。また、ディテイル判定部４３１は、図１６および図１７の（ｂ）に示すように、処理対象の画素の画素値に基づく振幅の最大差ΔＤｄが閾値ＴＨＰより大きく、閾値ＴＨＤ未満の場合、当該画素の領域の種類をディテイル領域であると判定する。また、ディテイル判定部４３１は、図１６および図１７の（ｃ）に示すように、処理対象の画素の画素値に基づく振幅の最大差ΔＤｅが閾値ＴＨＤより大きい場合、当該画素の領域の種類をエッジ領域と判定する。なお、最大差が閾値ＴＨＤの画素は、プレーン領域およびディテイル領域のいずれか一方であると判定されればよい。また、最大差が閾値ＴＨＰの画素は、ディテイル領域およびエッジ領域のいずれか一方であると判定されればよい。ディテイル判定部４３１は、判定結果をカーブ生成部４３２に出力する。
　カーブ生成部４３２は、判定結果およびディテイルセットデータを用いて、図１８に示すようなオフセットカーブを生成する。カーブ生成部４３２は、制御部１２１からディテイルセットデータを取得し、取得したディテイルセットデータに基づいて、プレーン領域およびエッジ領域が±０であり、かつ、ディテイル領域が＋Ｘであるオフセットカーブを生成する。カーブ生成部４３２は、ディテイル領域として判定された帯域映像データに対してシャープネスゲインに第４オフセット値をさらに加えるための検出データを第２補正部１２５に出力する。これにより、第１補正部１２４は、ディテイル領域と判定された画素の領域に対してより大きなシャープネスゲインを設定することができる。
　ディテイル領域は、映像の見た目の解像度感に大きな影響があり、ディテイル領域のシャープネスゲインをより大きくすることで、映像の見た目の解像度感を効果的に向上させることができる。この例では、プレーン領域およびエッジ領域と判定された場合のオフセットを±０としているが、±０の代わりに＋Ｘより小さな正の値であるオフセット値を設定してもよい。
　なお、第１補正部１２４は、制御回路１０３により実現される。具体的には、第１補正部１２４は、制御回路１０３によりメモリ１０４に格納される所定のプログラムが実行されることにより実現される。
　次に、第２補正部１２５について、図２０を用いて説明する。図２０は、第２補正部の詳細な構成の一例を示すブロック図である。
　第２補正部１２５は、図２０に示すように、２６個の補正部５０１～５２６と、２６個の設定部５３１～５５６とを有する。
　２６個の補正部５０１～５２６のうちの２５個の補正部５０１～５２５は、それぞれ、２５個の帯域に対応している。補正部５２６は、映像データに対応している。
　２６個の設定部５３１～５５６のうちの２５個の設定部５３１～５５５は、それぞれ、２５個の帯域に対応している。設定部５５６は、映像データ（つまり、全体の映像を示す映像データ）に対応している。設定部５５６は、制御部１２１からゲインセットテーブルの初期値を用いて、初期値のシャープネスゲインを補正部５２６に設定する。補正部５２６は、初期値のシャープネスゲインに基づいて全体輪郭補正データを生成して出力する。
　２５個の設定部５３１～５５５のそれぞれは、調整後のゲインセットテーブルで設定されたオフセット値のうちの対応する周波数帯域のオフセット値、および、対応する周波数帯域の検出データのオフセット値を画素毎に加算し、加算して得られた加算オフセット値に基づくシャープネスゲインを算出し、算出したシャープネスゲインを対応する補正部５０１～５２５に設定する。各補正部５０１～５２５は、設定されたシャープネスゲインに基づいて、輪郭補正処理に用いられる画素輪郭補正データを生成して出力する。画素輪郭補正データは、例えば、対象画素とその前後の画素とを用いて微分処理することにより生成される。シャープネスゲインがより大きい場合、画素輪郭補正データは、より増幅されて出力される。
　これにより、第２補正部１２５は、各補正部５０１～５２５により生成された画素輪郭補正データと、補正部５２６により生成された全体輪郭補正データとを加算することで、シャープネスゲインを周波数帯域毎、および、領域の種類毎に適切に調整するための輪郭補正データを生成する。第２補正部１２５は、生成した輪郭補正データを出力部１３０に出力する。
　第２補正部１２５は、シャープネスゲインが周波数帯域毎、および、配信されるコンテンツの有効周波数帯域に対して領域の種類毎に適切に調整された調整後の輪郭補正データを生成するため、各周波数帯域において、画素が多く含まれる周波数帯域の映像データであって、ディテイル領域に該当する画素の領域のシャープネスゲインをより効果的に向上させることができる。これにより、映像の見た目の解像度感をより効果的に向上させることができる。
　また、配信されるコンテンツの有効ではない周波数帯域において、ディテイル領域と誤検出する振幅のノイズが伝送路にて混入したとしても、配信されるコンテンツの有効ではない映像データの周波数帯域においては、シャープネスゲインのオフセット値を０または負の数に設定することができる。このため、配信側装置２００と受信側の表示装置１００との間の伝送路で生じた不要なノイズ成分を、シャープネスゲインを向上させると効果的なディテイル領域と誤検出したとしても、誤検出したディテイル領域のシャープネスゲインを増幅させることを抑制できる、または、ノイズリダクションすることができるため、よりで増幅しないことまたはノイズリダクションすることができる。よって、表示される映像の画質を効果的に向上させることができる。
　なお、第２補正部１２５は、制御回路１０３により実現される。具体的には、第２補正部１２５は、制御回路１０３によりメモリ１０４に格納される所定のプログラムが実行されることにより実現される。
　調整部１２０は、最終的に、第２補正部１２５により出力された輪郭補正データと、取得部１１０により取得された映像データとを加算する。つまり、調整部１２０は、画素輪郭補正データと、全体輪郭補正データと、映像データとを加算する。これにより、調整部１２０は、シャープネスゲインが周波数帯域毎、および、領域の種類毎に適切に調整された調整後の映像データを生成する。
　上述したように、調整部１２０が有する各処理部は、例えば、制御回路１０３およびメモリ１０４などにより実現される。
　出力部１３０は、出力された調整後の映像データを表示する。出力部１３０は、例えば、表示デバイス１０５により実現される。なお、出力部１３０は、表示デバイス１０５に限らずに、外部機器に調整後の映像データを出力するための伝送手段であってもよい。出力部１３０は、例えば、調整後の映像データを外部機器に出力する映像出力端子であってもよいし、有線通信または無線通信で調整後の映像データを外部機器に出力する通信ＩＦであってもよい。なお、映像出力端子は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子であってもよい。
　［２．動作］
　次に、映像システム１の動作について説明する。
　まず、配信側装置２００の動作について説明する。図２１は、配信側装置による映像生成方法のフローチャートである。
　配信側装置２００は、映像の空間的な周波数の帯域である有効な周波数帯域を特定する（Ｓ０１）。
　次に、配信側装置２００は、映像と、特定した有効な周波数帯域を示すメタデータとを含む映像データを生成する（Ｓ０２）。配信側装置２００は、例えば、映像とメタデータとを含む映像データを符号化することで、映像用の符号化データを生成する。
　そして、配信側装置２００は、生成した映像データを出力する（Ｓ０３）。配信側装置２００は、例えば、符号化データを伝送路へ出力することで、映像データを出力する。
　次に、表示装置１００の動作について説明する。図２２は、表示装置による映像処理方法のフローチャートである。
　表示装置１００の取得部１１０は、映像、および、映像が存在する空間的な周波数の帯域である有効な周波数帯域を示すメタデータを含む映像データを取得する（Ｓ１１）。表示装置１００の取得部１１０は、例えば、符号化データを取得して、取得した符号化データを復号することで映像データを取得する。
　次に、表示装置１００の調整部１２０は、取得された映像データに含まれる映像を構成する複数の領域のうち、メタデータで示される有効な周波数帯域に属する第１領域のシャープネスゲインよりも、有効な周波数帯域外の帯域である無効な周波数帯域に属する第２領域のシャープネスゲインが小さくなるように、映像のシャープネスゲインを調整する（Ｓ１２）。ステップＳ１２の詳細は、図２３を用いて後述する。
　次に、表示装置１００の出力部１３０は、調整後の映像を出力する（Ｓ１３）。
　図２３は、シャープネスゲインを調整する処理のフローチャートである。
　表示装置１００の調整部１２０は、複数の周波数帯域毎にシャープネスゲインを調整するためのオフセット値（第１オフセット値および第２オフセット値）を算出する第１の算出を行う（Ｓ２１）。ステップＳ２１の詳細は、図２４を用いて後述する。
　調整部１２０は、映像の複数の画素のそれぞれについて、当該画素が属する領域の種類に応じてシャープネスゲインを調整するためのオフセット値（第４オフセット値および第５オフセット値）を算出する第２の算出を行う（Ｓ２２）。ステップＳ２２の詳細は、図２６を用いて後述する。
　調整部１２０は、第１の算出の結果、および、第２の算出の結果を用いて、シャープネスゲインが調整された映像を生成する（Ｓ２３）。ステップＳ２３の詳細は、図２７を用いて後述する。
　図２４は、第１の算出のフローチャートである。
　調整部１２０は、映像を、周波数帯域における水平方向および垂直方向のそれぞれにおいて分割することで、複数の周波数帯域で区切られる複数の帯域に分割する（Ｓ３１）。
　調整部１２０は、複数の帯域のそれぞれについて、ループ１を開始する。ループ１では、ステップＳ３２～Ｓ３４が行われる。
　調整部１２０は、処理対象の帯域が無効な周波数帯域であるか否かを判定する（Ｓ３２）。
　調整部１２０は、処理対象の帯域が無効な周波数帯域であると判定した場合（Ｓ３２でＹｅｓ）、第１の閾値以下の値である第１オフセット値を算出する（Ｓ３３）。
　調整部１２０は、処理対象の帯域が無効な周波数帯域でない、つまり、有効な周波数帯域であると判定した場合（Ｓ３２でＮｏ）、第１の閾値より大きい値である第２オフセット値を算出する（Ｓ３４）。ステップＳ３４の詳細は、図２５を用いて説明する。
　調整部１２０は、複数の帯域の全てについてループ１を実行すると、ループ１を終了する。
　図２５は、第２オフセット値の算出処理のフローチャートである。
　調整部１２０は、処理対象の帯域に属する画素の数をカウントする（Ｓ４１）。
　調整部１２０は、カウントにより得られた、処理対象の帯域に属する画素の数に応じた第３オフセット値を決定する（Ｓ４２）。なお、第３オフセット値は、第２オフセット値を含んでもよい。
　図２６は、第２の算出のフローチャートである。
　調整部１２０は、映像の複数の画素のそれぞれについてループ２を開始する。ループ２では、ステップＳ５１～Ｓ５４が行われる。
　調整部１２０は、処理対象となる画素を基準（中心）とした水平方向または垂直方向に所定の幅の複数の画素の画素値に基づく振幅の最大差を算出する（Ｓ５１）。
　調整部１２０は、算出した最大差に基づいて、処理対象の画素がディテイル領域に属するか否かを判定する（Ｓ５２）。具体的には、調整部１２０は、算出した最大差が所定範囲内であるか否かを判定し、所定範囲内であれば処理対象の画素がディテイル領域に属すると判定し、所定範囲外であれば処理対象の画素がディテイル領域外に属すると判定する。
　調整部１２０は、処理対象の画素がディテイル領域に属すると判定した場合（Ｓ５２でＹｅｓ）、当該画素のシャープネスゲインを増加させる第４オフセット値を算出する（Ｓ５３）。
　調整部１２０は、処理対象の画素がディテイル領域に属さないと判定した場合、例えば、プレーン領域またはエッジ領域に属すると判定した場合（Ｓ５２でＮｏ）、当該画素のシャープネスゲインを調整する第５オフセット値を算出する（Ｓ５４）。第５オフセット値は、第４オフセット値よりも小さい値である。
　調整部１２０は、複数の画素の全てについてループ２を実行すると、ループ２を終了する。
　図２７は、映像のシャープネスゲインを調整する処理のフローチャートである。図２７に示すフローチャートの全体の処理は、具体的には、映像を構成する複数の画素のそれぞれについて行われる。
　調整部１２０は、複数の帯域のそれぞれについてループ３を開始する。ループ３では、ステップＳ６１が行われる。
　調整部１２０は、処理対象の帯域に算出された第１オフセット値または第２オフセット値をシャープネスゲインの初期値に加算する（Ｓ６１）。
　調整部１２０は、複数の帯域の全てについてループ３を実行すると、ループ３を終了する。
　調整部１２０は、処理対象の画素に対応するステップＳ６１の結果のシャープネスゲインに、当該画素に対応して算出された第４オフセット値または第５オフセット値を加算する（Ｓ６２）。
　調整部１２０は、ステップＳ６２の処理が実行されることにより得られた、各画素に応じて算出されたシャープネスゲインに基づいて、輪郭補正処理に用いられる画素輪郭補正データを生成する（Ｓ６３）。
　一方で、調整部１２０は、シャープネスゲインの初期値に基づいて、全体輪郭補正データを生成する（Ｓ６４）。
　調整部１２０は、ステップＳ６３で得られた画素輪郭補正データ、ステップＳ６４で得られた全体輪郭補正データ、およびステップＳ１１で取得部１１０により取得された映像データを加算する（Ｓ６５）。これにより、シャープネスゲインが効果的に調整された映像データが生成される。
　なお、調整部１２０は、ステップＳ６１でシャープネスゲインの初期値に算出されたオフセット値を加算するとしたが、ここでシャープネスゲインの初期値にオフセット値を加算しなくてもよい。例えば、調整部１２０は、画素毎に、ステップＳ６１で加算するオフセット値と、ステップＳ６２で加算するオフセット値とを特定することで、シャープネスゲインの初期値にステップＳ６１のオフセット値およびステップＳ６２のオフセット値を共に加算してもよい。例えば、調整部１２０は、メタデータ（周波数情報）の更新周期に合わせてループ３とステップＳ６４とを予め実行し、ループ３とステップＳ６４の結果とを予め加算し、予め加算して得られたデータを、画素周期に実行するステップＳ６２の結果をさらに画素毎に加算してもよい。
　［３．効果など］
　本実施の形態に係る表示装置１００によれば、第２周波数帯域に属する第２領域のシャープネスゲインが第１領域よりも上がらないように映像のシャープネスゲインを調整することができる。よって、シャープネスゲインを上げる処理を行う場合に、撮影により得られた映像が配信側装置２００で符号化されてから表示装置１００で復号されるまでの間に生じた、第２周波数帯域に属するノイズが第１領域よりも増幅することを抑制することができる。よって、シャープネスゲインを向上させる処理を行うことでノイズが他の映像よりも目立つことを低減することができる。
　また、本実施の形態に係る表示装置１００において、調整部１２０は、第２領域のシャープネスゲインに０以下の値である第１オフセット値を加算することで、映像のシャープネスゲインを調整する。このため、映像が存在しない第２周波数帯域に属する第２領域のシャープネスゲインが上がらないように、または、下がるように映像のシャープネスゲインを調整することができる。よって、シャープネスゲインを上げる処理を行う場合に、撮影により得られた映像が配信側装置２００で符号化されてから表示装置１００で復号されるまでの間に生じた、第２周波数帯域に属するノイズが増幅することを抑制することができる。特に、ノイズは所定の周波数よりも高い周波数帯域に含まれることが多いため、第２周波数帯域に属する第２領域のシャープネスゲインが上がらないように、または、下がるように映像のシャープネスゲインを調整することで、より効果的にノイズによる画質の低下を抑制することができる。
　また、本実施の形態に係る表示装置１００において、調整部１２０は、第１領域のシャープネスゲインに０より大きい値である第２オフセット値を加算することで、映像のシャープネスゲインを調整する。このため、映像が存在する第１領域のシャープネスゲインを向上させることができるため、効果的に画質を改善することができる。
　また、本実施の形態に係る表示装置１００において、第１周波数帯域は、互いに異なる複数の帯域を含む。第２オフセット値は、複数の帯域にそれぞれ対応する複数の第３オフセット値を含む。調整部１２０は、複数の帯域毎に当該帯域に属する画素の数をカウントし、複数の帯域のうちで属する画素の数が多いほど大きな値になるように複数の第３オフセット値を決定する。このため、画素数が多いほどシャープネスゲインを向上させるため、効果的に画質を改善することができる。
　また、本実施の形態に係る表示装置１００において、調整部１２０は、さらに、映像における複数の画素のそれぞれについて、当該画素を基準とした水平方向または垂直方向に所定の幅にわたる複数の画素の画素値に基づいて、最大差を算出する。調整部１２０は、さらに、所定の範囲内の最大差が算出された第１画素におけるシャープネスゲインにさらに加算する第４オフセット値よりも、所定の範囲外の最大差が算出された第２画素におけるシャープネスゲインにさらに加算する第５オフセット値が小さくなるように、映像のシャープネスゲインを調整する。このため、シャープネスゲインを上げることでより画質が向上しやすい第１画素におけるシャープネスゲインが第２画素におけるシャープネスゲインよりも上がるようにシャープネスゲインを調整することができるため、効果的に画質を改善することができる。
　［４．変形例］
　上記実施の形態では、表示装置１００は、機能構成として制御部１２１を備えるとしたが、必ずしも制御部１２１を備えていなくてもよい。つまり、制御部１２１が算出するとした情報は、外部から取得してもよいし、記憶部１２２が予め記憶していてもよい。
　上記実施の形態では、表示装置１００では、チューナ１０１を備える構成であり、取得部１１０は、チューナ１０１により実現されるとしたが、これに限らない。取得部１１０は、光ディスクなどの記録媒体（所定のパッケージメディア）に記録されている映像データを読み出すことで映像データを取得してもよい。この場合、取得部１１０は、光ディスクを読み出す光ピックアップを備える電気機器により実現されてもよい。また、取得部１１０は、インターネットなどのネットワークを介して外部サーバから映像データを取得してもよい。この場合、取得部１１０は、外部サーバとの間で通信を行うための通信ＩＦにより実現されてもよい。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、シャープネスゲインを上げることによるノイズの増幅を抑制することができる映像処理装置、映像処理方法、映像生成装置、映像生成方法およびプログラムなどとして有用である。
　　１　　映像システム
１００　　表示装置
１０１　　チューナ
１０２　　デコーダ
１０３　　制御回路
１０４　　メモリ
１０５　　表示デバイス
１１０　　取得部
１２０　　調整部
１２１　　制御部
１２２　　記憶部
１２３　　抽出部
１２４　　第１補正部
１２５　　第２補正部
１３０　　出力部
２００　　配信側装置
２０１　　カメラ
２０２　　情報処理装置
２０３　　プロセッサ
２０４　　メインメモリ
２０５　　ストレージ
２０６　　通信ＩＦ
２０７　　入力ＩＦ
２０８　　ディスプレイ
２１０　　キャプチャ部
２２０　　マスタリング部
２３０　　周波数変換部
２４０　　エンコーダ
３０１～３０５　　水平抽出部
３１１～３１５　　垂直抽出部
３２１～３４５　　計数部
４０１～４２５　　検出部
４３１　　ディテイル判定部
４３２　　カーブ生成部
５０１～５２６　　補正部
５３１～５５６　　設定部

Claims (14)

  1. 　映像、および、前記映像が存在する空間的な周波数の帯域である第１周波数帯域を示すメタデータを含む映像データを取得する取得部と、
    　前記取得部により取得された前記映像データに含まれる前記映像を構成する複数の領域のうち、前記メタデータで示される前記第１周波数帯域に属する第１領域のシャープネスゲインよりも、前記第１周波数帯域外の帯域である第２周波数帯域に属する第２領域のシャープネスゲインが小さくなるように、前記映像のシャープネスゲインを調整する調整部と、
    　前記調整部により調整された調整後の映像を出力する出力部と、を備える
    　映像処理装置。
  2. 　前記第２周波数帯域は、前記第１周波数帯域を規定する最低周波数よりも低い帯域、または、前記第１周波数帯域を規定する最高周波数よりも高い帯域に含まれる
    　請求項１に記載の映像処理装置。
  3. 　前記調整部は、前記第２領域のシャープネスゲインに第１の閾値以下の値である第１オフセット値を加算することで、前記映像のシャープネスゲインを調整する
    　請求項１または２に記載の映像処理装置。
  4. 　前記調整部は、前記第１領域のシャープネスゲインに前記第１の閾値より大きい値である第２オフセット値を加算することで、前記映像のシャープネスゲインを調整する
    　請求項３に記載の映像処理装置。
  5. 　前記第１周波数帯域は、互いに異なる複数の帯域を含み、
    　前記第２オフセット値は、前記複数の帯域にそれぞれ対応する複数の第３オフセット値を含み、
    　前記調整部は、前記複数の帯域毎に当該帯域に属する画素の数をカウントし、前記複数の帯域のうちで属する画素の数が多いほど大きな値になるように前記複数の第３オフセット値を決定する
    　請求項４に記載の映像処理装置。
  6. 　前記第１の閾値は、０である
    　請求項３から５のいずれか１項に記載の映像処理装置。
  7. 　前記調整部は、さらに、
    　　前記映像における複数の画素のそれぞれについて、当該画素を基準とした水平方向または垂直方向に所定の幅にわたる複数の画素の画素値に基づいて、最大差を算出し、
    　　所定の範囲内の最大差が算出された第１画素におけるシャープネスゲインにさらに加算する第４オフセット値よりも、前記所定の範囲外の最大差が算出された第２画素におけるシャープネスゲインにさらに加算する第５オフセット値が小さくなるように、前記映像のシャープネスゲインを調整する
    　請求項３から６のいずれか１項に記載の映像処理装置。
  8. 　前記所定の範囲内の最大差は、前記所定の範囲外の最大差よりも小さい値、または、前記所定の範囲外の最大差よりも大きい値である
    　請求項７に記載の映像処理装置。
  9. 　前記第４オフセット値は、０より大きい値であり、
    　前記第５オフセット値は、０である
    　請求項７または８に記載の映像処理装置。
  10. 　映像のシャープネスゲインを調整する映像処理装置によって行われる映像処理方法であって、
    　映像、および、前記映像が存在する空間的な周波数の帯域である第１周波数帯域を示すメタデータを含む映像データを取得し、
    　取得された前記映像データに含まれる前記映像を構成する複数の領域のうち、前記メタデータで示される前記第１周波数帯域に属する第１領域のシャープネスゲインよりも、前記第１周波数帯域外の帯域である第２周波数帯域に属する第２領域のシャープネスゲインが小さくなるように、前記映像のシャープネスゲインを調整し、
    　調整後の映像を出力する
    　映像処理方法。
  11. 　映像のシャープネスゲインを調整する映像処理方法をコンピュータに実行させるためのプログラムであって、
    　前記映像処理方法は、
    　映像、および、前記映像が存在する空間的な周波数の帯域である第１周波数帯域を示すメタデータを含む映像データを取得し、
    　取得された前記映像データに含まれる前記映像を構成する複数の領域のうち、前記メタデータで示される前記第１周波数帯域に属する第１領域のシャープネスゲインよりも、前記第１周波数帯域外の帯域である第２周波数帯域に属する第２領域のシャープネスゲインが小さくなるように、前記映像のシャープネスゲインを調整し、
    　調整後の映像を出力する
    　プログラム。
  12. 　映像が存在する空間的な周波数の帯域である第１周波数帯域を特定する特定部と、
    　前記映像と、特定した前記第１周波数帯域を示すメタデータとを含む映像データを生成する生成部と、
    　生成した前記映像データを出力する出力部と、を備える
    　映像生成装置。
  13. 　メタデータを含む映像データを生成する映像生成装置によって行われる映像生成方法であって、
    　映像が存在する空間的な周波数の帯域である第１周波数帯域を特定し、
    　前記映像と、特定した前記第１周波数帯域を示すメタデータとを含む映像データを生成し、
    　生成した前記映像データを出力する
    　映像生成方法。
  14. 　メタデータを含む映像データを生成する映像生成方法をコンピュータに実行させるためのプログラムであって、
    　前記映像生成方法は、
    　映像が存在する空間的な周波数の帯域である第１周波数帯域を特定し、
    　前記映像と、特定した前記第１周波数帯域を示すメタデータとを含む映像データを生成し、
    　生成した前記映像データを出力する
    　プログラム。
PCT/JP2021/015159 2020-05-22 2021-04-12 映像処理装置、映像処理方法、映像生成装置、映像生成方法およびプログラム WO2021235138A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/795,757 US11785173B2 (en) 2020-05-22 2021-04-12 Video processing device, video processing method, video generation device, video generation method, and recording medium
EP21808948.0A EP4156170A4 (en) 2020-05-22 2021-04-12 VIDEO PROCESSING APPARATUS, VIDEO PROCESSING METHOD, VIDEO PRODUCING APPARATUS, VIDEO PROCESSING METHOD AND PROGRAM
JP2022524328A JPWO2021235138A1 (ja) 2020-05-22 2021-04-12

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020089775 2020-05-22
JP2020-089775 2020-05-22

Publications (1)

Publication Number Publication Date
WO2021235138A1 true WO2021235138A1 (ja) 2021-11-25

Family

ID=78707925

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/015159 WO2021235138A1 (ja) 2020-05-22 2021-04-12 映像処理装置、映像処理方法、映像生成装置、映像生成方法およびプログラム

Country Status (4)

Country Link
US (1) US11785173B2 (ja)
EP (1) EP4156170A4 (ja)
JP (1) JPWO2021235138A1 (ja)
WO (1) WO2021235138A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295236A (ja) * 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP2005277503A (ja) * 2004-03-23 2005-10-06 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP2015517233A (ja) * 2012-02-29 2015-06-18 ドルビー ラボラトリーズ ライセンシング コーポレイション 改善された画像処理およびコンテンツ送達のための画像メタデータ生成
US20160100147A1 (en) * 2014-10-06 2016-04-07 Samsung Electronics Co., Ltd. Image forming apparatus, image forming method, image processing apparatus and image processing method thereof
WO2019130626A1 (ja) * 2017-12-27 2019-07-04 パナソニックＩｐマネジメント株式会社 表示装置および表示方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9407890B2 (en) * 2008-01-14 2016-08-02 Broadcom Corporation Method and system for sharpening the luma and the chroma signals
JP2012019381A (ja) * 2010-07-08 2012-01-26 Sony Corp 画像処理装置及び画像処理方法
TWI538474B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
JP5514344B2 (ja) 2012-05-15 2014-06-04 シャープ株式会社 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
CN103079038B (zh) * 2013-01-07 2016-06-29 华为终端有限公司 图像锐化处理方法、装置和拍摄终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295236A (ja) * 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP2005277503A (ja) * 2004-03-23 2005-10-06 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP2015517233A (ja) * 2012-02-29 2015-06-18 ドルビー ラボラトリーズ ライセンシング コーポレイション 改善された画像処理およびコンテンツ送達のための画像メタデータ生成
US20160100147A1 (en) * 2014-10-06 2016-04-07 Samsung Electronics Co., Ltd. Image forming apparatus, image forming method, image processing apparatus and image processing method thereof
WO2019130626A1 (ja) * 2017-12-27 2019-07-04 パナソニックＩｐマネジメント株式会社 表示装置および表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4156170A4

Also Published As

Publication number Publication date
US20230076845A1 (en) 2023-03-09
EP4156170A4 (en) 2023-12-06
US11785173B2 (en) 2023-10-10
EP4156170A1 (en) 2023-03-29
JPWO2021235138A1 (ja) 2021-11-25

Similar Documents

Publication Publication Date Title
US10931961B2 (en) High dynamic range codecs
US11153589B2 (en) High dynamic range adaptation operations at a video decoder
EP3266208B1 (en) Content-adaptive perceptual quantization for high dynamic range images
US11100888B2 (en) Methods and apparatuses for tone mapping and inverse tone mapping
US5337088A (en) Method of correcting an image signal decoded in block units
US7072404B2 (en) Decoding apparatus, control method therefor, and storage medium
US10701359B2 (en) Real-time content-adaptive perceptual quantizer for high dynamic range images
US8145006B2 (en) Image processing apparatus and image processing method capable of reducing an increase in coding distortion due to sharpening
JP2003517785A (ja) 信号ピーキング
US20070285729A1 (en) Image processing apparatus and image processing method
EP4037312A1 (en) Image signal conversion method and apparatus, and terminal device
WO2021235138A1 (ja) 映像処理装置、映像処理方法、映像生成装置、映像生成方法およびプログラム
JP3068361B2 (ja) 高能率復号化装置
WO2021131209A1 (ja) 制御装置及び制御方法
JP6712822B2 (ja) 表示装置および表示方法
JP2010028748A (ja) 画像処理装置および画像処理方法
JP5692255B2 (ja) コンテンツ再生装置およびコンテンツ処理方法
WO2023095718A1 (ja) 映像処理方法、映像処理装置、及び、プログラム
JP2001204025A (ja) 高能率符号化装置
JP3991596B2 (ja) 画像ディエンファシス復号化装置
JPH0775103A (ja) 画像符号化装置
EP1817913A1 (en) Reduction of compression artifacts in displayed images
JP2002158978A (ja) 電子透かし埋め込み方法，検出方法，電子透かし埋め込み装置，検出装置および電子透かし埋め込みプログラムを記録した記録媒体，検出プログラムを記録した記録媒体
JP2003143606A (ja) 画像信号処理方法及び画像信号処理装置
JPH0530536A (ja) 画像符号化装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21808948

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022524328

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021808948

Country of ref document: EP

Effective date: 20221222

NENP Non-entry into the national phase

Ref country code: DE