WO2014102876A1 - 画像処理装置、および、画像処理方法 - Google Patents

画像処理装置、および、画像処理方法 Download PDF

Info

Publication number
WO2014102876A1
WO2014102876A1 PCT/JP2012/008390 JP2012008390W WO2014102876A1 WO 2014102876 A1 WO2014102876 A1 WO 2014102876A1 JP 2012008390 W JP2012008390 W JP 2012008390W WO 2014102876 A1 WO2014102876 A1 WO 2014102876A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
character
image
unit
correction gain
Prior art date
Application number
PCT/JP2012/008390
Other languages
English (en)
French (fr)
Inventor
義明 尾脇
夏樹 齋藤
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2014553893A priority Critical patent/JPWO2014102876A1/ja
Priority to PCT/JP2012/008390 priority patent/WO2014102876A1/ja
Publication of WO2014102876A1 publication Critical patent/WO2014102876A1/ja
Priority to US14/639,105 priority patent/US20150178895A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18086—Extraction of features or characteristics of the image by performing operations within image blocks or by using histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24—Generation of individual character patterns
    • G09G5/26—Generation of individual character patterns for modifying the character dimensions, e.g. double width, double height
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24—Generation of individual character patterns
    • G09G5/28—Generation of individual character patterns for enhancement of character form, e.g. smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6072—Colour correction or control adapting to different types of images, e.g. characters, graphs, black and white image portions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/52—Automatic gain control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method.
  • Patent Document 1 discloses an image processing apparatus that detects a pixel having a luminance difference as a character region and enhances the smoothing effect of the character region. This image processing apparatus detects a character region by performing simple character detection.
  • This disclosure discloses an image processing apparatus that increases the sharpness of characters in an image.
  • An image processing apparatus includes a character region detection unit that detects a character region that includes a character from an input image, and a degree of image collapse in the character region detected by the character region detection unit.
  • a feature amount detection unit that detects an amount
  • a correction gain calculation unit that calculates a correction gain based on the feature amount detected by the feature amount detection unit, and a smaller correction gain calculated by the correction gain calculation unit,
  • a correction unit that corrects the input image by performing image processing that is less effective on the image in the character area.
  • the image processing apparatus can increase the sharpness of characters in an image.
  • FIG. 1 is a functional block diagram of the image processing apparatus according to the first embodiment.
  • FIG. 2 is a detailed functional block diagram of the character area detection unit in the first embodiment.
  • FIG. 3 is an explanatory diagram of processing of the character area detection unit in the first embodiment.
  • FIG. 4A is an explanatory diagram of how to count the number of pixels of the character level determination unit in the first embodiment.
  • FIG. 4B is a diagram showing an example of a character block value in the first exemplary embodiment.
  • FIG. 5 is an explanatory diagram of a method for calculating the character determination rate of the character determination unit according to the first embodiment.
  • FIG. 6 is a detailed functional block diagram of the character size detection unit in the first embodiment.
  • FIG. 7 is an explanatory diagram of a character size calculation method of the character size detection unit according to the first embodiment.
  • FIG. 8 is a detailed functional block diagram of the luminance fluctuation number calculation unit in the first embodiment.
  • FIG. 9 is a detailed functional block diagram of the horizontal fluctuation calculating unit in the first embodiment.
  • FIG. 10 is a detailed functional block diagram of the vertical fluctuation calculation unit in the first embodiment.
  • FIG. 11 is a detailed functional block diagram of the correction gain calculation unit in the first embodiment.
  • FIG. 12 is an explanatory diagram of a correction gain calculation process of the correction gain calculation unit according to the first embodiment.
  • FIG. 13 is a detailed functional block diagram of the correction unit according to the first embodiment.
  • FIG. 14 is a detailed functional block diagram of the smoothing unit in the first embodiment.
  • FIG. 15 is a detailed functional block diagram of the sharpening unit according to the first embodiment.
  • FIG. 16 is an explanatory diagram of unsharp mask processing by the sharpening unit in the first embodiment.
  • FIG. 17 is a flowchart of the image processing apparatus according to the first embodiment.
  • FIG. 18A is a functional block diagram of the image processing apparatus according to the second embodiment.
  • FIG. 18B is a functional block diagram of an image processing apparatus according to a modification of the second embodiment.
  • FIG. 19 is a diagram illustrating an example of the appearance of the image processing apparatus according to each embodiment.
  • the resolution of content on SD (Standard definition) broadcasting, DVD, or the Internet is about 360p (the number of pixels in the vertical direction is 360) or about 480p.
  • the high-resolution content is generated by performing an enlargement process for increasing the resolution of the low-resolution content.
  • the low-resolution content includes characters added by image processing, etc., the phenomenon that the characters themselves are blurred due to the enlargement processing, or the code distortion existing in the characters and the image in the vicinity or the collapse of the characters themselves As a result of enlargement, a phenomenon or the like that is more noticeable than before enlargement processing occurs.
  • the latter phenomenon is likely to occur in a low-resolution or low-bit-rate content, and is likely to occur in an area where character lines in the content are dense.
  • the character may be corrupted as an image.
  • the viewer of the content is difficult to read the characters in which the image is broken.
  • Patent Document 1 discloses an image processing apparatus that detects a pixel having a luminance difference as a character region and enhances the smoothing effect of the character region. This image processing apparatus detects a character region by performing simple character detection. However, since the image processing for the detected character area is not appropriate, the above problem cannot be solved.
  • the present disclosure provides an image processing apparatus that improves the sharpness of characters in an image.
  • An image processing apparatus includes a character region detection unit that detects a character region that includes a character from an input image, and a degree of image collapse in the character region detected by the character region detection unit.
  • a feature amount detection unit that detects an amount
  • a correction gain calculation unit that calculates a correction gain based on the feature amount detected by the feature amount detection unit, and a smaller correction gain calculated by the correction gain calculation unit,
  • a correction unit that corrects the input image by performing image processing that is less effective on the image in the character area.
  • the image processing apparatus is an image process for enhancing the sharpness of the character region in the input image, and an image process having a strength corresponding to the feature amount (an image having an effect corresponding to the feature amount). Treatment). Since the feature amount is an amount that indicates the degree of image collapse in the character area due to the enlargement process performed on the input image, the image processing apparatus appropriately performs image processing based on the feature amount to perform image processing properly. The collapse can be corrected. Therefore, the image processing apparatus can increase the sharpness of characters in the image.
  • the feature amount detection unit includes a character size detection unit that detects a character size that is the size of a character in the character region as the feature amount, and the correction gain calculation unit is detected by the character size detection unit. The smaller the character size is, the smaller the correction gain may be calculated.
  • the image processing apparatus can perform image processing with a small effect on a portion including a small character in the input image based on the feature amount.
  • An image of a part including small characters in the input image may be unable to be restored to the image before enlargement due to the correction by the image processing because the image collapse caused by the enlargement process is large.
  • the image processing apparatus can prevent image collapse caused by image processing by performing image processing with a small effect based on the feature amount.
  • the feature amount detection unit includes a luminance variation detection unit that detects the number of luminance variations as the feature amount in the image in the character area, and the correction gain calculation unit is detected by the luminance variation detection unit. The smaller the correction frequency, the smaller the correction gain may be calculated.
  • the image processing apparatus can perform image processing with a small effect on a portion where the number of fluctuations in luminance is large when pixels are scanned in a predetermined direction in the input image based on the feature amount.
  • the portion where the number of changes in luminance is large corresponds to a portion including small characters or a portion including characters having a complicated shape such as a large number of strokes (number of strokes).
  • Such a portion may not be restored to the image before enlargement due to the correction by the image processing because the image collapse caused by the enlargement processing is large.
  • the image processing apparatus performs image processing with a large effect, it may not only be able to restore the image before enlargement, but it may further cause image collapse.
  • the image processing apparatus can prevent image collapse caused by image processing by performing image processing with a small effect based on the feature amount.
  • the feature amount detection unit detects the resolution of the input image as the feature amount, and the correction gain calculation unit calculates the smaller correction gain as the difference between the resolution and a predetermined value increases. Also good.
  • the image processing apparatus can perform image processing with a small effect on the character region of the input image with low resolution based on the feature amount.
  • An input image with a low resolution may be unable to be restored to an image before enlargement due to correction by image processing because the image collapse caused by the enlargement process is large.
  • the image processing apparatus can prevent image collapse caused by the image processing by performing image processing with a small effect.
  • An input image with a high resolution is subjected to an enlargement process with a low enlargement rate. Since the image collapse caused by the enlargement process with a small enlargement ratio is small, the image processing apparatus can appropriately correct the image collapse by performing image processing with a small effect.
  • the feature amount detection unit may detect a bit rate of the input image as the feature amount, and the correction gain calculation unit may calculate a smaller correction gain as the bit rate is smaller.
  • the image processing apparatus can perform image processing with a small effect on the character area of the input image having a low bit rate. Since an input image with a low bit rate includes a lot of distortion due to compression, it may not be able to be restored to an image before enlargement due to correction by image processing. In such a case, if the image processing apparatus performs image processing with a large effect, it may not only be able to restore the image before enlargement, but it may further cause image collapse. In that case, the image processing apparatus can prevent image collapse caused by the image processing by performing image processing with a small effect.
  • the correction unit may perform the correction by performing a sharpening process as the image processing.
  • the image processing apparatus can correct the collapse of the image by performing a sharpening process on the input image.
  • the correction unit may perform the correction by performing a noise removal process as the image processing.
  • the image processing apparatus can correct the collapse of the image by removing the noise of the input image.
  • the image processing apparatus further includes an enlargement unit that performs an enlargement process, which is a process for increasing the resolution, on the input image, and the character area detection unit is configured so that the enlargement unit performs the enlargement process.
  • the character area may be detected from the input image.
  • the image processing apparatus receives an input image having a relatively low resolution, performs an enlargement process and an image process for increasing sharpness on the received input image, and outputs the input image subjected to the image process can do.
  • the image processing method includes a character region detection step for detecting a character region that is a region including characters from an input image, and a degree of image collapse in the character region detected in the character region detection step.
  • a feature amount detecting step for detecting a feature amount to be shown;
  • a correction gain calculating step for calculating a correction gain based on the feature amount detected in the feature amount detecting step; and the correction gain calculated in the correction gain calculating step is small.
  • the correction step includes correcting the input image by performing image processing with less effect on the image in the character area.
  • the first embodiment will be described below with reference to FIGS.
  • the image processing apparatus according to the present embodiment is used in the process of converting an input video signal having a relatively low resolution into an output video signal having a resolution higher than the resolution of the input video signal.
  • the resolution of the input video signal is, for example, 360p (the number of pixels in the vertical direction is 360) or 480p.
  • the resolution of the output video signal is, for example, 1080p (corresponding to FHD (Full high definition)).
  • FIG. 1 is a functional block diagram of the image processing apparatus according to the present embodiment.
  • the image processing apparatus 1 includes an enlargement unit 11, a character region detection unit 12, a character size detection unit 13, a luminance variation number calculation unit 14, a correction gain calculation unit 15, and a correction unit. 16.
  • the enlargement unit 11 enlarges the input video signal by performing an enlargement process for increasing the resolution of the input video signal input to the image processing apparatus 1 on the input video signal, and outputs the enlarged video signal generated by the enlargement.
  • Conventional methods such as nearest neighbor, bilinear, and bicubic can be used for the enlargement processing method.
  • the image processing apparatus 1 does not necessarily include the enlargement unit 11. That is, the image processing apparatus 1 may receive an enlarged video signal from an external device having a function equivalent to that of the enlargement unit 11.
  • the input video signal may be a signal constituting a still image or a signal constituting a moving image.
  • the input video signal is an example of an input image. When the input video signal is a still image, the still image corresponds to the input image. When the input video signal is a moving image, one of the frames constituting the moving image corresponds to the input image.
  • the enlarged video signal is another example of the input image.
  • the character area detection unit 12 receives the enlarged video signal output from the enlargement unit 11 and detects a character area included in the enlarged video signal. Specifically, the character area detection unit 12 determines whether or not the block includes characters for each block constituting the enlarged video signal. As a result of this determination, a character block value that indicates whether or not the block includes characters is calculated for each block, and a character determination rate that is a value obtained by averaging the character block values in consideration of the relationship with adjacent blocks, and is output. To do.
  • the block of the enlarged video signal means each of the areas when the enlarged video signal is divided into a plurality of areas. That is, the enlarged video signal is expressed as including a plurality of blocks.
  • the enlarged video signal is also expressed as being composed of a plurality of blocks.
  • the character size detection unit 13 receives the character block value output from the character region detection unit 12, and determines the character size of the character included in the block for each block. Then, the character size detection unit 13 outputs the character size included in each block.
  • the luminance fluctuation frequency calculation unit 14 receives the enlarged video signal output from the enlargement unit 11 and calculates the horizontal and vertical luminance fluctuation times in the enlarged video signal as a fluctuation value. Then, the luminance fluctuation number calculation unit 14 outputs the calculated fluctuation value.
  • the correction gain calculation unit 15 includes a variation value output from the luminance variation number calculation unit 14, a character size output from the character size detection unit 13, a character determination rate output from the character region detection unit 12, and a resolution of the input video signal. And the bit rate are received, and the degree of image processing strength (correction gain) performed by the correction unit 16 for each block is calculated. In addition, what is essential in the information received by the correction gain calculation unit 15 is a character determination rate. Other information is not essential, but if there is other information, the calculation result of the correction gain can be made more appropriate.
  • the correction unit 16 performs image processing on each of the blocks constituting the enlarged video signal based on the correction gain calculated by the correction gain calculation unit 15 on the enlarged video signal output from the enlargement unit 11.
  • the image processing includes a smoothing process or a sharpening process.
  • the correction unit 16 outputs the signal after image processing as an output video signal.
  • FIG. 2 is a detailed functional block diagram of the character area detection unit 12 in the present embodiment.
  • the character area detection unit 12 includes an HPF (High-pass filter) unit 121, a character level determination unit 122, a character block determination unit 123, and a character determination unit 124.
  • HPF High-pass filter
  • the HPF unit 121 receives the enlarged video signal output from the enlargement unit 11 and performs unsharp mask processing for each block of the enlarged video signal. Then, the HPF unit 121 outputs an HPF value for each block as a result of the unsharp mask process. This process will be specifically described below.
  • FIG. 3A is an example of an enlarged video signal (enlarged video signal 301) received by the HPF unit 121.
  • a sequence of a plurality of blocks continuous in the horizontal direction may be described as a column, and a sequence of the plurality of blocks continuous in the vertical direction may be described as a row. Further, the horizontal direction may be described as the column direction or the horizontal direction, and the vertical direction may be described as the row direction or the vertical direction.
  • the HPF unit 121 calculates an LPF (Low-pass filter) value for the block of the enlarged video signal 301.
  • the LPF value is a value obtained by applying the LPF to the pixels of the block, and is represented by (Equation 1).
  • the LPF coefficients for example, all the LPF coefficients may be 1 ((b) in FIG. 3).
  • the LPF coefficient is not limited to the above.
  • the HPF unit 121 calculates the HPF value by subtracting the LPF value from the center pixel value C (the pixel value of the center pixel of the block) and then taking the absolute value (Equation 2). Output the value.
  • the character level determination unit 122 receives the enlarged video signal 301 output from the enlargement unit 11, and for each block of the enlarged video signal 301, it is estimated that a character exists based on the bias of the signal level of the block. A level judgment value that is a degree is output. This process will be specifically described below.
  • the character level determination unit 122 calculates the number of pixels for each signal level based on the pixel value included in the block (FIG. 4A).
  • the signal level is obtained by dividing the signal value, which is the luminance of the pixel value or the predetermined color component of the pixel value, into a plurality of stages having a width. For example, in the case where the luminance of pixel values indicated in 256 levels from 0 to 255 is used as the signal value, a black pixel corresponds to the signal value 0 and a white pixel corresponds to the signal value 255.
  • the signal level may be set so as to overlap with a signal level adjacent to the signal level.
  • the first signal level may include signal values 0 to 4
  • the second signal level may include signal values 2 to 6.
  • the character level determination unit 122 counts the number of pixels belonging to each of the signal levels, and creates a histogram indicating the number of pixels with respect to the signal level. Next, the character level determination unit 122 determines whether or not there is a signal level having the number of pixels exceeding the threshold based on the created histogram. If there is, the character level determination unit 122 sets 1 as the level determination value. 0 is output as the level judgment value.
  • the threshold is, for example, 300 pixels.
  • the character block determination unit 123 receives the HPF value output from the HPF unit 121 and the level determination value output from the character level determination unit 122, and outputs a character block value indicating whether or not there is a character for each block. To do.
  • the character block determination unit 123 determines whether or not the HPF value output from the HPF unit 121 is equal to or greater than a threshold, and whether or not the level determination value output from the character level determination unit 122 is 1. Is determined for each block. As a result, for each block, when the HPF value is equal to or greater than the threshold and the level determination value is 1, 1 is output as the character block value, and 0 is output as the character block value in other cases.
  • the character block determination unit 123 outputs the character block value 401 shown in FIG. In FIG. 4B, the character block value of the block is described at a position corresponding to the position of the block in the enlarged video signal 301. A character block value corresponding to a block in which characters are present in the enlarged video signal 301 is 1.
  • the character determination unit 124 receives the character block value output from the character block determination unit 123, calculates the degree of adjacent blocks containing characters, and outputs the calculated character determination rate. This process will be specifically described below.
  • the character determination unit 124 calculates, for each block of the enlarged video signal 301, a sum S of character block values of a total of 9 blocks of 3 vertical blocks ⁇ 3 horizontal blocks centering on the block.
  • the character block value of the i-th block from the left in the column direction and the j-th block from the top in the row direction is expressed as MB (i, j).
  • the character determination unit 124 calculates a character determination rate based on the sum S of character block values.
  • the character determination rate is an increasing function with respect to the sum S, and is 1 when the sum S is equal to or greater than a predetermined value.
  • the predetermined value can take any value from 1 to 9.
  • FIG. 5B shows the relationship of the character determination rate to the total sum S when the predetermined value is 3. If the predetermined value is 3, when the character block value of the block and two or more blocks adjacent to the block is 1, the character determination rate of the block can be calculated as 1. In this way, when the blocks having the character block value of 1 are connected like the character block value 401, the character determination rate of these blocks can be calculated as 1 ((c in FIG. 5). )).
  • the character determination rate of the block can be calculated as 1/3 (about 0.3). Yes ((d) in FIG. 5). Since the characters in the input image are often continuous in the column direction or the row direction, by using the character determination rate described above, it is possible to detect the characters that are consecutive in the column direction or the row direction, thereby more appropriately presenting the characters. Can be determined.
  • the increase function means a function f (x) that satisfies f (x) ⁇ f (y) when x ⁇ y for any x and y.
  • the decreasing function described later means a function f (x) that satisfies f (x) ⁇ f (y) when x ⁇ y for any x and y.
  • FIG. 6 is a detailed functional block diagram of the character size detection unit 13 in the present embodiment.
  • the character size detection unit 13 includes a horizontal count unit 131, a vertical count unit 132, and a minimum selection unit 133.
  • the horizontal count unit 131 receives the character block value output from the character block determination unit of the character area detection unit 12, calculates a horizontal count value for each block, and outputs the calculated horizontal count value. Specifically, the horizontal count unit 131 pays attention to each block, counts the character block values of blocks belonging to the same row as the block, and outputs the counted value as a horizontal count value. For example, the horizontal count unit 131 outputs the horizontal count value shown in FIG. 7B to the character block value shown in FIG. 7A (same as the character block value 401).
  • the vertical count unit 132 receives the character block value output from the character block determination unit of the character area detection unit 12, calculates the vertical count value for each block, and outputs the calculated vertical count value. Specifically, the vertical count unit 132 pays attention to each block, counts the character block values of blocks belonging to the same column as the block, and outputs the counted value as a vertical count value. For example, the vertical count unit 132 outputs the vertical count value shown in FIG. 7C with respect to the character block value shown in FIG. 7A (same as the character block value 401).
  • the minimum selection unit 133 receives the horizontal count value output from the horizontal count unit 131 and the vertical count value output from the vertical count unit 132, and in each block, the smaller of the horizontal count value and the vertical count value. Is selected, and the smaller value is output as the character size. For example, the minimum selection unit 133 performs the character size shown in (d) of FIG. 7 with respect to the horizontal count value shown in (b) of FIG. 7 and the vertical count value shown in (c) of FIG. Is output.
  • FIG. 8 is a detailed functional block diagram of the luminance fluctuation number calculation unit 14 in the present embodiment.
  • the luminance fluctuation number calculation unit 14 includes a horizontal fluctuation calculation unit 141, a vertical fluctuation calculation unit 142, and a maximum selection unit 143.
  • the horizontal fluctuation calculation unit 141 receives the enlarged video signal output from the enlargement unit 11, and outputs a horizontal fluctuation value indicating the degree of fluctuation of the pixel value in the horizontal direction for each pixel.
  • the horizontal fluctuation calculating unit 141 will be described in further detail.
  • FIG. 9 is a detailed functional block diagram of the horizontal fluctuation calculation unit 141.
  • the horizontal fluctuation calculation unit 141 includes a horizontal luminance difference calculation unit 1411, a horizontal code sum calculation unit 1412, a horizontal absolute value sum calculation unit 1413, and a multiplier 1414.
  • the horizontal luminance difference calculation unit 1411 receives the enlarged video signal output from the enlargement unit 11, and calculates the luminance difference DIFF with the adjacent pixels in the horizontal direction in units of pixels.
  • the horizontal code sum calculation unit 1412 calculates and outputs the horizontal code sum based on the luminance difference DIFF calculated by the horizontal luminance difference calculation unit 1411. This will be specifically described with reference to FIG. Specifically, the horizontal code sum total calculation unit 1412 has an absolute value D of the sum of the luminance differences DIFF of adjacent pixels in a predetermined area including the pixel (the target pixel in FIG. 9C) in units of pixels. H and S are calculated (Formula 4).
  • the predetermined area is, for example, a rectangular area having 9 pixels in the horizontal direction and 9 pixels in the vertical direction centering on the pixel.
  • the predetermined area is not limited to the rectangular area described above, but may be a rectangular area having another number of pixels, or may be an area included in another figure such as a triangle or a circle. Moreover, it is not necessary to be an area centered on the pixel, and any area including the pixel may be used.
  • the horizontal code sum calculating unit 1412 calculates the horizontal code sum SH , S based on DH, S.
  • the horizontal code sum SH, S is a decreasing function with respect to DH, S , and is 1 when DH, S is small and 0 when DH, S is large.
  • a specific example of the horizontal code sum SH, S is shown in FIG.
  • the horizontal code total sum calculation unit 1412 outputs the calculated horizontal code sum S H, and outputs the S.
  • the horizontal absolute value total calculation unit 1413 calculates and outputs the horizontal absolute value total based on the luminance difference DIFF calculated by the horizontal luminance difference calculation unit 1411. Specifically, the horizontal absolute value sum calculation unit 1413 calculates the sum DH, A of the absolute values of the luminance differences DIFF of adjacent pixels in a predetermined range centered on the pixel for each pixel (formula 5).
  • the horizontal absolute value total calculating unit 1413 calculates the horizontal absolute value total SH , A based on DH, A.
  • the horizontal absolute value sum SH, A is an increasing function with respect to DH, A , and is 0 when DH, A is small, and is 1 when DH, A is large.
  • a specific example of the horizontal absolute value sum SH, A is shown in FIG.
  • the horizontal absolute value sum calculating unit 1413 outputs the calculated horizontal absolute value sum SH, A.
  • the multiplier 1414 receives the horizontal code total output from the horizontal code total calculation unit 1412 and the horizontal absolute value total output from the horizontal absolute value total calculation unit 1413, and calculates the product of the horizontal code total and the horizontal absolute value total. And output as a horizontal fluctuation value. This horizontal fluctuation value becomes the output of the horizontal fluctuation calculating unit 141.
  • the vertical fluctuation calculation unit 142 receives the enlarged video signal output from the enlargement unit 11, and outputs a vertical fluctuation value indicating the degree of fluctuation of the pixel value in the vertical direction for each pixel.
  • the vertical fluctuation calculation unit 142 will be described in more detail.
  • FIG. 10 is a detailed functional block diagram of the vertical fluctuation calculation unit 142.
  • the vertical fluctuation calculating unit 142 includes a vertical luminance difference calculating unit 1421, a vertical code sum calculating unit 1422, a vertical absolute value sum calculating unit 1423, and a multiplier 1424.
  • the vertical luminance difference calculation unit 1421 receives the enlarged video signal output from the enlargement unit 11 and calculates the luminance difference DIFF with the adjacent pixels in the vertical direction in units of pixels.
  • the vertical code sum calculating unit 1422 calculates and outputs the vertical code sum based on the luminance difference DIFF calculated by the vertical luminance difference calculating unit 1421.
  • a specific calculation method is the same as the method in which the horizontal code total calculation unit 1412 calculates the horizontal code total, and the vertical calculation is based on the absolute value D V, S (Equation 6) of the sum of the luminance differences DIFF of adjacent pixels.
  • the code sum SV, S is calculated.
  • the vertical absolute value total calculating unit 1423 calculates the vertical absolute value total based on the luminance difference DIFF calculated by the vertical luminance difference calculating unit 1421.
  • a specific calculation method is the same as the method in which the horizontal absolute value total calculation unit 1413 calculates the horizontal absolute value total, and is based on the absolute value D V, A (Formula 7) of the sum of the luminance differences DIFF of adjacent pixels.
  • D V, A Form 7) of the sum of the luminance differences DIFF of adjacent pixels.
  • the multiplier 1424 receives the vertical code total output from the vertical code total calculation unit 1422 and the vertical absolute value total output from the vertical absolute value total calculation unit 1423, and calculates the product of the vertical code total and the vertical absolute value total. And output as a vertical fluctuation value. This vertical fluctuation value becomes the output of the vertical fluctuation calculation unit 142.
  • FIG. 11 is a detailed functional block diagram of the correction gain calculation unit 15 in the present embodiment.
  • the correction gain calculation unit 15 includes a variation value gain calculation unit 151, a character size gain calculation unit 152, a character determination rate gain calculation unit 153, a resolution gain calculation unit 154, and a bit rate gain.
  • a calculation unit 155 and a multiplier 156 are provided.
  • the character determination rate gain calculation unit 153 and the multiplier 156 are essential components. Further, at least one of the fluctuation value gain calculation unit 151, the character size gain calculation unit 152, the character determination rate gain calculation unit 153, the resolution gain calculation unit 154, and the bit rate gain calculation unit 155 is included. I just need it.
  • the fluctuation value gain calculation unit 151 receives the fluctuation value output from the luminance fluctuation number calculation unit 14, calculates the fluctuation value gain based on the fluctuation value, and outputs the fluctuation value gain. Specifically, the fluctuation value gain calculation unit 151 calculates a smaller fluctuation value gain as the fluctuation value increases.
  • the fluctuation value gain takes a value of 0 or more and 1 or less. An example of the function of the fluctuation value gain with respect to the fluctuation value is shown in FIG.
  • the variation value output by the luminance variation number calculation unit 14 takes a large value in a pixel having a large luminance variation with surrounding pixels.
  • a pixel having a large luminance change and a peripheral portion thereof are greatly deteriorated by compression noise (characters are largely collapsed as an image).
  • compression noise becomes conspicuous or the image is further broken. Therefore, by reducing the correction gain of the image processing applied to such a portion, it is possible to prevent the compression noise from becoming conspicuous.
  • the character size gain calculation unit 152 receives the character size output from the character size detection unit 13, calculates the character size gain based on the character size, and outputs it. Specifically, the character size gain calculation unit 152 calculates a larger character size gain as the character size increases.
  • the character size gain takes a value between 0 and 1. An example of the function of the character size gain with respect to the character size is shown in FIG.
  • the character size output by the character size detection unit 13 takes a small value in a block including small characters. It is known that in such a portion including a small block, deterioration due to compression noise is large (characters are largely collapsed as an image). When image processing (sharpening processing) is performed on such a portion, compression noise becomes conspicuous. On the other hand, a portion including a large character is often intended to emphasize the character by the provider of the input video signal. Further, it is known that a portion including a large character is appropriately sharpened by image processing (sharpening processing).
  • the character determination rate output by the character region detection unit 12 takes a large value in a block estimated to contain a character (for example, 1 in FIG. 5 (c) right figure) and takes a small value in blocks other than the above. (For example, 0.1 in FIG. 5 (d) right figure).
  • the visibility of characters can be improved by increasing the correction gain of the image processing performed on the portion including the characters.
  • the resolution gain calculation unit 154 receives the resolution of the input video signal, calculates the resolution gain based on the resolution, and outputs it. Specifically, the resolution gain calculation unit 154 calculates a smaller resolution gain as the resolution is larger than a predetermined value or as the resolution is smaller than a predetermined value. In other words, the resolution gain calculation unit 154 calculates a smaller resolution gain as the difference between the resolution and the predetermined value is larger.
  • the resolution gain takes a value of 0 or more and 1 or less. An example of a function of resolution gain with respect to the resolution is shown in FIG.
  • the correction gain can be reduced for an input video signal having a resolution larger than a predetermined value.
  • the larger the resolution of the input video signal the smaller the effect of the enlargement process by the enlargement unit 11. Since the image distortion caused by the enlargement process performed on the input video signal having a resolution larger than the predetermined value is small (the distortion of the character image is small), the correction gain of the image processing is reduced.
  • the correction gain can be reduced with respect to an input video signal having a resolution smaller than a predetermined value as described above. The smaller the resolution of the input video signal, the greater the effect of the enlargement process by the enlargement unit 11.
  • the image distortion caused by the enlargement process performed on the input video signal having a resolution smaller than the predetermined value is large (the character is largely broken as an image). If the image is too distorted, the fine structure of the characters is lost (the characters are crushed). In such a case, it is not expected to improve the sharpness of characters by image processing, so the correction gain of image processing is reduced.
  • the bit rate gain calculation unit 155 receives the bit rate of the input video signal, calculates the bit rate gain based on the bit rate, and outputs it. Specifically, the bit rate gain calculation unit 155 calculates a smaller bit rate gain as the bit rate is lower.
  • the bit rate gain takes a value of 0 or more and 1 or less.
  • An example of the function of the bit rate gain with respect to the bit rate is shown in FIG.
  • the bit rate may be different for each frame constituting the moving image. In that case, the bit rate of the frame to be processed may be used.
  • An input video signal with a low bit rate includes a lot of compression noise that is generated when the input signal is generated, and is greatly deteriorated (a large amount of characters are distorted as an image). Therefore, since it is not expected to improve the sharpness by image processing, the correction gain of image processing is reduced.
  • the multiplier 156 outputs the product of the fluctuation value gain, the character size gain, the character determination rate gain, the resolution gain, and the bit rate gain as a correction gain.
  • FIG. 13 is a detailed functional block diagram of the correction unit 16 in the present embodiment. As illustrated in FIG. 13, the correction unit 16 includes a smoothing unit 161 and a sharpening unit 162.
  • the smoothing unit 161 receives the enlarged video signal generated by the enlargement unit 11 and the correction gain calculated by the correction gain calculation unit 15. Then, the smoothing unit 161 generates and outputs a smoothed video signal by smoothing the enlarged video signal.
  • the smoothing unit 161 will be described in further detail.
  • FIG. 14 is a detailed functional block diagram of the smoothing unit 161.
  • the smoothing unit 161 includes an LPF (Low-pass filter) unit 1611, a subtractor 1612, a multiplier 1613, and an adder 1614.
  • LPF Low-pass filter
  • An LPF (Low-pass filter) unit 1611 applies the LPF to the enlarged video signal and outputs a signal obtained as a result of the application.
  • the subtractor 1612 subtracts the enlarged video signal from the signal obtained by applying the LPF to the enlarged video signal by the LPF unit, and outputs a signal obtained as a result of the subtraction.
  • the multiplier 1613 calculates and outputs the product of the signal output from the subtractor 1612 and the correction gain calculated by the correction gain calculation unit 15.
  • the adder 1614 adds the enlarged video signal and the signal output from the multiplier 1613, and outputs the result as a smoothed video signal.
  • the smoothing unit 161 outputs the enlarged video signal itself as a smoothed video signal when the correction gain is zero. Further, when the correction gain is 1, the smoothing unit 161 outputs a signal obtained by smoothing the enlarged video signal as a smoothed video signal. Further, when the correction gain is a value between 0 and 1, the smoothing unit 161 outputs an enlarged video signal that has been smoothed more strongly as the correction gain is larger, as a smoothed video signal.
  • FIG. 15 is a detailed functional block diagram of the sharpening unit 162.
  • the process shown in FIG. 15 is an example of an unsharp mask process.
  • the sharpening unit 162 includes an LPF unit 1621, a subtractor 1622, a multiplier 1623, a multiplier 1624, and an adder 1625.
  • the LPF unit 1621 applies the LPF to the smoothed video signal A ((A) in FIG. 16), and outputs a signal B ((B) in FIG. 16) obtained as a result of the application.
  • the subtractor 1622 subtracts the enlarged video signal from the signal output from the LPF unit 1621 and outputs a signal C ((C) in FIG. 16) obtained as a result of the subtraction.
  • the Multiplier 1623 calculates the product of the reference gain and the correction gain, and outputs it as a gain.
  • the reference gain is a numerical value that serves as a reference for the strength (effect magnitude) of the sharpening process. That is, the larger the reference gain, the stronger (the greater the effect) the sharpening process is performed.
  • the reference gain is a preset value, and may be 3, for example.
  • Multiplier 1624 calculates and outputs the product of the signal output from subtractor 1622 and the gain.
  • the adder 1625 adds the smoothed video signal and the signal output from the multiplier 1624, and outputs the result as an output video signal D ((D) in FIG. 16).
  • the sharpening unit 162 outputs the enlarged video signal itself as an output video signal when the correction gain is zero. Further, when the correction gain is 1, the sharpening unit 162 outputs a signal obtained by sharpening the enlarged video signal with the strength indicated by the reference gain as an output video signal. Further, when the correction gain is a value between 0 and 1, the sharpening unit 162 outputs an enlarged video signal that has been sharpened more strongly as the correction gain is larger, as a smoothed video signal. That is, the correction gain functions as a value for adjusting the degree of the sharpening processing strength between the reference gain and zero.
  • the correction gain calculation unit 15 calculates the correction gain based on the resolution of the input video signal.
  • the enlargement ratio in the enlargement process of the enlargement unit 11 may be used. it can.
  • the correction gain calculation unit 15 increases the enlargement factor greater than a predetermined value or the enlargement factor exceeds a predetermined value. A smaller magnification factor gain is calculated as the value is smaller. In other words, the correction gain calculation unit 15 calculates a smaller enlargement factor gain as the difference between the enlargement factor and the predetermined value is larger.
  • FIG. 17 is a flowchart of the image processing apparatus 1 according to the first embodiment. Hereinafter, the operation and processing of the image processing apparatus 1 will be described in detail.
  • step S1701 the image processing apparatus 1 receives an input video signal.
  • step S1702 the enlarging unit 11 performs an enlarging process on the input video signal received by the image processing apparatus in step S1701.
  • the enlargement unit 11 is not an essential component. If the image processing apparatus 1 does not include the enlargement unit 11, the process of step S1702 is not performed. In that case, the image processing apparatus 1 acquires an enlarged video signal from an external device having a function equivalent to that of the enlargement unit 11.
  • step S1703 the character area detection unit 12 receives the enlarged video signal and detects a character area included in the enlarged video signal. Then, the character block value and the character determination rate are calculated and output.
  • step S1704 the character size detection unit 13 receives the character block value output by the character region detection unit 12 in step S1703, and determines the character size of the character included in the block for each block. Then, the character size detection unit 13 outputs the character size included in each block.
  • step S1705 the luminance fluctuation number calculation unit 14 receives the enlarged video signal output from the enlargement unit 11 in step S1702, and calculates the horizontal and vertical luminance fluctuation numbers in the enlarged video signal as a fluctuation value. Then, the luminance fluctuation number calculation unit 14 outputs the calculated fluctuation value. Note that step S1705 is not necessarily executed after step S1704, and can be executed after the processing of step S1702 is completed.
  • step S1706 the correction gain calculation unit 15 outputs the variation value output by the luminance variation number calculation unit 14 in step S1705, the character size output by the character size detection unit 13 in step S1704, and the character region detection unit 12 in step S1703. Is received, and the resolution and bit rate of the input video signal received in step S1701 are received, and the degree of image processing strength (correction gain) performed by the correction unit 16 for each block is calculated. .
  • step S1707 the correction unit 16 performs image processing on each of the blocks constituting the enlarged video signal based on the correction gain calculated by the correction gain calculation unit 15 on the enlarged video signal.
  • the enlarged video signal is generated by the enlargement unit 11 expanding the input video signal in step S1702.
  • the enlarged video signal is obtained from an external device when the image processing apparatus 1 does not include the enlargement unit 11.
  • step S1708 the image processing apparatus 1 outputs the output video signal output from the correction unit 16 in step S1707.
  • the image processing apparatus performs image processing for enhancing the sharpness with respect to the character area in the input image, and has an image having a strength corresponding to the feature amount. Processing (image processing having an effect corresponding to the feature amount) can be performed. Since the feature amount is an amount that indicates the degree of image collapse in the character area due to the enlargement process performed on the input image, the image processing apparatus appropriately performs image processing based on the feature amount to perform image processing properly. The collapse can be corrected. Therefore, the image processing apparatus can increase the sharpness of characters in the image.
  • the image processing apparatus can perform image processing with a small effect on a portion including small characters in the input image.
  • An image of a part including small characters in the input image may be unable to be restored to the image before enlargement due to the correction by the image processing because the image collapse caused by the enlargement process is large.
  • image processing with a large effect is performed, not only can the image not be enlarged be restored, but there is a possibility that the image will be further destroyed.
  • by performing image processing with a small effect it is possible to prevent image collapse caused by image processing.
  • the image processing apparatus can perform image processing with a small effect on a portion of the input image where the number of changes in luminance is large when pixels are scanned in a predetermined direction.
  • the portion where the number of changes in luminance is large corresponds to a portion including small characters or a portion including characters having a complicated shape such as a large number of strokes (number of strokes).
  • Such a portion may not be restored to the image before enlargement due to the correction by the image processing because the image collapse caused by the enlargement processing is large.
  • image processing with a large effect is performed, not only can the image not be enlarged be restored, but there is a possibility that the image will be further destroyed.
  • by performing image processing with a small effect it is possible to prevent image collapse caused by image processing.
  • the image processing apparatus can perform image processing with a small effect on the character area of the input image with low resolution.
  • An input image with a low resolution may be unable to be restored to an image before enlargement due to correction by image processing because the image collapse caused by the enlargement process is large.
  • image processing with a large effect is performed, not only can the image not be enlarged be restored, but there is a possibility that the image will be further destroyed.
  • by performing image processing with a small effect it is possible to prevent image collapse caused by image processing.
  • An input image with a high resolution is subjected to an enlargement process with a low enlargement rate. Since the image distortion caused by the enlargement process with a small enlargement ratio is small, the image distortion can be appropriately corrected by performing image processing with a small effect.
  • the image processing apparatus can perform image processing with a small effect on the character area of the input image with a low bit rate. Since an input image with a low bit rate includes a lot of distortion due to compression, it may not be able to be restored to an image before enlargement due to correction by image processing. In that case, if image processing with a large effect is performed, not only can the image not be enlarged be restored, but there is a possibility that the image will be further destroyed. In that case, by performing image processing with a small effect, it is possible to prevent image collapse caused by image processing.
  • the image processing apparatus can correct image collapse by performing a sharpening process on the input image.
  • the image processing apparatus can correct image collapse by removing noise from the input image.
  • the image processing apparatus may receive an input image having a relatively low resolution, perform an enlargement process and an image process for increasing sharpness on the received input image, and output the input image on which the image process has been performed. it can.
  • Embodiment 2 will be described with reference to FIG. 18A.
  • the character region detection unit 12 and the luminance fluctuation number calculation unit 14 execute processing based on the enlarged video signal.
  • the functional block corresponding to the above is used. Describes an example of an image processing apparatus that executes processing based on an input video signal.
  • FIG. 18A is a functional block diagram of the image processing apparatus 2 in the present embodiment. As shown in FIG. 18A, the image processing apparatus 2 according to the present embodiment includes a character region detection unit 12A and a luminance variation number calculation unit 14A. Since other functional blocks are the same as those of the image processing apparatus 1 according to the first embodiment, detailed description thereof is omitted.
  • the character area detection unit 12A receives the input video signal received by the image processing apparatus 2 and detects a character area included in the input video signal. Specifically, the character area detection unit 12A determines whether or not the block includes characters for each block constituting the input video signal. As a result of this determination, a character block value indicating whether or not the block includes a character is calculated for each block, and a character determination rate that is a value obtained by averaging the character block value in consideration of the relationship with adjacent blocks is output. To do.
  • the luminance fluctuation frequency calculation unit 14A receives the input video signal received by the image processing apparatus 2, and calculates the horizontal and vertical luminance fluctuation frequency in the input video signal as a fluctuation value. Then, the luminance fluctuation number calculation unit 14A outputs the calculated fluctuation value.
  • step S1703 and step 1705 in the operation of the image processing apparatus 1 are replaced with step S1703A and step 1705A, which are corresponding processing steps, respectively. Steps S1703A and 1705A will be described below.
  • Step S1703A is a processing step corresponding to step S1703 of the image processing apparatus 1.
  • the character area detection unit 12A receives the input video signal and detects a character area included in the input video signal. Then, the character block value and the character determination rate are calculated and output.
  • Step S1705A is a processing step corresponding to step S1705 of the image processing apparatus 1.
  • the luminance fluctuation number calculation unit 14A receives the input video signal in step S1702, and calculates the horizontal and vertical luminance fluctuation times in the input video signal as fluctuation values. Then, the luminance fluctuation number calculation unit 14A outputs the calculated fluctuation value. Note that step S1705A is not necessarily executed after step S1704, and can be executed after the process of step S1702 is completed.
  • the correction gain calculation unit 15 calculates the correction gain based on the input video signal, and the correction unit 16 can perform image processing on the enlarged video signal based on the calculated correction gain. Due to the enlargement process by the enlargement unit 11, not only a difference in resolution but also a difference in pixel values (blurring) may occur due to pixel interpolation between the input video signal and the enlarged video signal. In such a case, by performing image processing based on the correction gain calculated from the input video signal, the sharpness of the characters can be improved more appropriately.
  • An image processing apparatus 3 shows essential components of the first embodiment or the second embodiment.
  • FIG. 18B is a functional block diagram of the image processing device 3 in the present modification. As illustrated in FIG. 18B, the image processing device 3 according to the present modification includes a character region detection unit 32, a feature amount detection unit 33, a correction gain calculation unit 34, and a correction unit 35.
  • the character area detection unit 32 detects a character area that is an area including characters from the input image.
  • the character area detection unit 32 corresponds to the character area detection unit 12.
  • the feature amount detection unit 33 detects a feature amount indicating the degree of image collapse in the character area detected by the character region detection unit 32.
  • the feature amount detection unit 33 corresponds to the character size detection unit 13 or the luminance fluctuation number calculation unit 14.
  • the correction gain calculation unit 34 calculates a correction gain for the character region detected by the character region detection unit 32 based on the feature amount detected by the feature amount detection unit 33.
  • the correction gain calculation unit 34 corresponds to the correction gain calculation unit 15.
  • the correction unit 35 corrects the input signal by performing image processing with a smaller effect on the image in the character area as the correction gain calculated by the correction gain calculation unit 34 is smaller.
  • the correction unit 35 corresponds to the correction unit 16.
  • the image processing device in each embodiment is mounted on, for example, a television (FIG. 19), a video recording device, a set top box, a PC (Personal computer), or the like.
  • the present disclosure can be applied to an image processing apparatus that receives an input video signal having a relatively low resolution and outputs an output video signal having a higher resolution than the input video signal.
  • the present disclosure is applicable to a television, a video recording device, a set top box, a PC (Personal computer), and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)

Abstract

入力画像から、文字を含む領域である文字領域を検出する文字領域検出部（３２）と、文字領域検出部（３２）が検出した文字領域内の画像の崩れの度合いを示す特徴量を検出する特徴量検出部（３３）と、特徴量検出部（３３）が検出した特徴量に基づいて補正ゲインを算出する補正ゲイン算出部（３４）と、補正ゲイン算出部（３４）が算出した補正ゲインが小さいほど、文字領域内の画像に対して効果がより小さい画像処理を施すことにより、入力画像に補正を行う補正部（３５）とを備える。

Description

画像処理装置、および、画像処理方法
　本開示は、画像処理装置、および、画像処理方法に関する。
　特許文献１は、輝度差のある画素を文字領域として検出し、文字領域の平滑化効果を強める画像処理装置を開示する。この画像処理装置は、簡易な文字検出を行うことにより、文字領域を検出する。
特開２００８－１１３１２４号公報
　本開示は、画像内の文字の鮮鋭さを高める画像処理装置を開示する。
　本開示における画像処理装置は、入力画像から、文字を含む領域である文字領域を検出する文字領域検出部と、前記文字領域検出部が検出した前記文字領域内の画像の崩れの度合いを示す特徴量を検出する特徴量検出部と、前記特徴量検出部が検出した前記特徴量に基づいて補正ゲインを算出する補正ゲイン算出部と、前記補正ゲイン算出部が算出した前記補正ゲインが小さいほど、前記文字領域内の画像に対して効果がより小さい画像処理を施すことにより、前記入力画像に補正を行う補正部とを備える。
　本開示における画像処理装置は、画像内の文字の鮮鋭さを高めることができる。
図１は、実施の形態１における画像処理装置の機能ブロック図である。 図２は、実施の形態１における文字領域検出部の詳細な機能ブロック図である。 図３は、実施の形態１における文字領域検出部の処理の説明図である。 図４Ａは、実施の形態１における文字レベル判定部の画素数の数え方の説明図である。 図４Ｂは、実施の形態１における文字ブロック値の例を示す図である。 図５は、実施の形態１における文字判定部の文字判定率の算出方法の説明図である。 図６は、実施の形態１における文字サイズ検出部の詳細な機能ブロック図である。 図７は、実施の形態１における文字サイズ検出部の文字サイズの算出方法の説明図である。 図８は、実施の形態１における輝度変動回数算出部の詳細な機能ブロック図である。 図９は、実施の形態１における水平変動算出部の詳細な機能ブロック図である。 図１０は、実施の形態１における垂直変動算出部の詳細な機能ブロック図である。 図１１は、実施の形態１における補正ゲイン算出部の詳細な機能ブロック図である。 図１２は、実施の形態１における補正ゲイン算出部の補正ゲイン算出処理の説明図である。 図１３は、実施の形態１における補正部の詳細な機能ブロック図である。 図１４は、実施の形態１における平滑化部の詳細な機能ブロック図である。 図１５は、実施の形態１における鮮鋭化部の詳細な機能ブロック図である。 図１６は、実施の形態１における鮮鋭化部によるアンシャープマスク処理の説明図である。 図１７は、実施の形態１における画像処理装置のフローチャートである。 図１８Ａは、実施の形態２における画像処理装置の機能ブロック図である。 図１８Ｂは、実施の形態２の変形例における画像処理装置の機能ブロック図である。 図１９は、各実施の形態における画像処理装置の外観の一例を示す図である。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　まず、本開示により解決される課題について説明する。
　一般に、ＳＤ（Standard definition）放送、ＤＶＤ、又は、インターネット上のコンテンツの解像度は、３６０ｐ（縦方向の画素数が３６０個）又は４８０ｐ程度である。このようなコンテンツ（低解像度コンテンツ）を、より解像度が高い表示パネルに表示する場合、低解像度コンテンツに対して解像度を上げる拡大処理を施すことにより、解像度の高いコンテンツを生成することが行われる。低解像度コンテンツが画像処理などによって付加された文字を含む場合、拡大処理により、その文字自体にぼやけが発生する現象、又は、その文字とその近傍の画像とに存在する符号歪や文字自体の潰れが拡大されることで拡大処理前より目立つ現象等が発生する。特に後者の現象は低解像度又は低ビットレートのコンテンツにおいて発生しやすく、また、コンテンツ内の文字の線が密集している領域において発生しやすい。言い換えれば、拡大処理により、その文字に、画像としての崩れが発生することがある。コンテンツの視聴者は、画像の崩れが発生した文字を読み取りにくいという問題がある。
　特許文献１は、輝度差のある画素を文字領域として検出し、文字領域の平滑化効果を強める画像処理装置を開示する。この画像処理装置は、簡易な文字検出を行うことにより、文字領域を検出する。しかし、検出した文字領域に対する画像処理が適切でないので、上記問題は解決されない。
　そこで、本開示は、画像内の文字の鮮鋭さを高める画像処理装置を提供する。
　本開示における画像処理装置は、入力画像から、文字を含む領域である文字領域を検出する文字領域検出部と、前記文字領域検出部が検出した前記文字領域内の画像の崩れの度合いを示す特徴量を検出する特徴量検出部と、前記特徴量検出部が検出した前記特徴量に基づいて補正ゲインを算出する補正ゲイン算出部と、前記補正ゲイン算出部が算出した前記補正ゲインが小さいほど、前記文字領域内の画像に対して効果がより小さい画像処理を施すことにより、前記入力画像に補正を行う補正部とを備える。
　これによれば、画像処理装置は、入力画像の中の文字領域に対して、鮮鋭さを高める画像処理であって特徴量に応じた強さの画像処理（特徴量に応じた効果を有する画像処理）を施すことができる。特徴量は、入力画像に施された拡大処理による文字領域内の画像の崩れの度合いを示す量であるので、画像処理装置は、特徴量に基づいて画像処理を行うことにより、適正に画像の崩れを補正することができる。よって、画像処理装置は、画像内の文字の鮮鋭さを高めることができる。
　また、前記特徴量検出部は、前記文字領域の文字の大きさである文字サイズを前記特徴量として検出する文字サイズ検出部を有し、前記補正ゲイン算出部は、前記文字サイズ検出部が検出した前記文字サイズが小さいほど、より小さな前記補正ゲインを算出するとしてもよい。
　これによれば、画像処理装置は、特徴量に基づいて入力画像の中で小さな文字を含む部分には、効果が小さい画像処理を施すことができる。入力画像の中で小さな文字を含む部分の画像は、拡大処理により発生した画像の崩れが大きいために、画像処理による補正により拡大前の画像に復元できなくなっている場合がある。その場合に、画像処理装置が、効果が大きい画像処理を施すと、拡大前の画像に復元できないだけでなく、画像の崩れをさらに進める可能性がある。その場合には、画像処理装置は、特徴量に基づいて効果が小さい画像処理を施すことにより、画像処理により発生する画像の崩れを未然に防ぐことができる。
　また、前記特徴量検出部は、前記文字領域内の画像において、輝度の変動回数を前記特徴量として検出する輝度変動検出部を有し、前記補正ゲイン算出部は、前記輝度変動検出部が検出した前記変動回数が大きいほど、より小さな前記補正ゲインを算出するとしてもよい。
　これによれば、画像処理装置は、特徴量に基づいて入力画像の中でも所定方向に画素をスキャンした場合に輝度の変動回数が大きい部分には、効果が小さい画像処理を施すことができる。輝度の変動回数が大きい部分は、小さな文字を含む部分、または、字画（画数）が多いなど複雑な形状を有する文字を含む部分に相当する。このような部分は、拡大処理により発生した画像の崩れが大きいために、画像処理による補正により拡大前の画像に復元できなくなっている場合がある。その場合に、画像処理装置が、効果が大きい画像処理を施すと、拡大前の画像に復元できないだけでなく、画像の崩れをさらに進める可能性がある。その場合には、画像処理装置は、特徴量に基づいて効果が小さい画像処理を施すことにより、画像処理により発生する画像の崩れを未然に防ぐことができる。
　また、前記特徴量検出部は、前記入力画像の解像度を前記特徴量として検出し、前記補正ゲイン算出部は、前記解像度と所定値との差分が大きいほど、より小さな前記補正ゲインを算出するとしてもよい。
　これによれば、画像処理装置は、特徴量に基づいて解像度が低い入力画像の文字領域に対して、効果が小さい画像処理を施すことができる。解像度が低い入力画像は、拡大処理により発生した画像の崩れが大きいために、画像処理による補正により拡大前の画像に復元できなくなっている場合がある。その場合に、画像処理装置が、効果が大きい画像処理を施すと、拡大前の画像に復元できないだけでなく、画像の崩れをさらに進める可能性がある。その場合には、画像処理装置は、効果が小さい画像処理を施すことにより、画像処理により発生する画像の崩れを未然に防ぐことができる。また、解像度が高い入力画像には、拡大率が小さい拡大処理が施される。拡大率が小さい拡大処理により発生する画像の崩れは小さいので、画像処理装置は、効果が小さい画像処理を施すことにより適正に画像の崩れを補正することができる。
　また、前記特徴量検出部は、前記入力画像のビットレートを前記特徴量として検出し、前記補正ゲイン算出部は、前記ビットレートが小さいほど、より小さな前記補正ゲインを算出するとしてもよい。
　これによれば、画像処理装置は、ビットレートが低い入力画像の文字領域に対して、効果が小さい画像処理を施すことができる。ビットレートが低い入力画像は、圧縮による歪を多く含んでいるので、画像処理による補正により拡大前の画像に復元できなくなっている場合がある。その場合に、画像処理装置が、効果が大きい画像処理を施すと、拡大前の画像に復元できないだけでなく、画像の崩れをさらに進める可能性がある。その場合には、画像処理装置は、効果が小さい画像処理を施すことにより、画像処理により発生する画像の崩れを未然に防ぐことができる。
　また、前記補正部は、前記画像処理として鮮鋭化処理を施すことにより、前記補正を行うとしてもよい。
　これによれば、画像処理装置は、入力画像に対して鮮鋭化処理を施すことにより、画像の崩れを補正することができる。
　また、前記補正部は、前記画像処理としてノイズ除去処理を施すことにより、前記補正を行うとしてもよい。
　これによれば、画像処理装置は、入力画像のノイズを除去することにより、画像の崩れを補正することができる。
　また、前記画像処理装置は、さらに、前記入力画像に対して、解像度を上げる処理である拡大処理を施す拡大部を備え、前記文字領域検出部は、前記拡大部が前記拡大処理を施した後の前記入力画像から前記文字領域を検出するとしてもよい。
　これによれば、画像処理装置は、比較的解像度が低い入力画像を受信し、受信した入力画像に対して拡大処理と鮮鋭さを高める画像処理を施し、画像処理が施された入力画像を出力することができる。
　また、本開示における画像処理方法は、入力画像から、文字を含む領域である文字領域を検出する文字領域検出ステップと、前記文字領域検出ステップで検出した前記文字領域内の画像の崩れの度合いを示す特徴量を検出する特徴量検出ステップと、前記特徴量検出ステップで検出した前記特徴量に基づいて補正ゲインを算出する補正ゲイン算出ステップと、前記補正ゲイン算出ステップで算出した前記補正ゲインが小さいほど、前記文字領域内の画像に対して効果がより小さい画像処理を施すことにより、前記入力画像に補正を行う補正ステップとを含む。
　これにより、上記の画像処理装置と同様の効果を奏する。
　（実施の形態１）
　以下、図１～１７を用いて、実施の形態１を説明する。本実施の形態において、入力された入力映像信号の文字領域に対して、文字領域内の画像の特徴に応じて画像処理を行う画像処理装置の例を説明する。なお、本実施の形態の画像処理装置は、比較的低い解像度の入力映像信号を、入力映像信号の解像度より高い解像度を有する出力映像信号にする過程において用いられるものである。入力映像信号の解像度は、例えば、３６０ｐ（縦方向の画素数が３６０個）又は４８０ｐである。また、出力映像信号の解像度は、例えば、１０８０ｐ（ＦＨＤ（Full high definition）に相当）である。
　［１－１．構成］
　図１は、本実施の形態における画像処理装置の機能ブロック図である。
　図１に示されるように、画像処理装置１は、拡大部１１と、文字領域検出部１２と、文字サイズ検出部１３と、輝度変動回数算出部１４と、補正ゲイン算出部１５と、補正部１６とを備える。
　拡大部１１は、画像処理装置１に入力された入力映像信号の解像度を上げる拡大処理を入力映像信号に施すことにより入力映像信号を拡大し、拡大することにより生成した拡大映像信号を出力する。拡大処理の方法には、ニアレストネイバー、バイリニア、又は、バイキュービックなどの従来技術を用いることができる。なお、画像処理装置１は、必ずしも拡大部１１を備えなくてもよい。つまり、画像処理装置１は、拡大部１１と同等の機能を有する外部装置から拡大映像信号を受信してもよい。なお、入力映像信号は、静止画を構成する信号であってもよいし、動画を構成する信号であってもよい。なお、入力映像信号は、入力画像の一例である。入力映像信号が静止画である場合には、当該静止画が入力画像に相当する。入力映像信号が動画である場合には、当該動画を構成するフレームの１つが入力画像に相当する。また、拡大映像信号は、入力画像の別の一例である。
　文字領域検出部１２は、拡大部１１が出力した拡大映像信号を受信し、拡大映像信号に含まれる文字領域を検出する。具体的には、文字領域検出部１２は、拡大映像信号を構成するブロックごとに当該ブロックが文字を含んでいるか否かを判定する。この判定の結果、文字を含むブロックか否かをブロックごとに示す文字ブロック値と、隣接ブロックとの関係を考慮して文字ブロック値を平均化した値である文字判定率とを算出し、出力する。なお、拡大映像信号のブロックとは、拡大映像信号を複数の領域に区切ったときの領域のそれぞれを意味する。つまり、拡大映像信号は複数のブロックを含む、と表現される。また、拡大映像信号は、複数のブロックから構成される、とも表現される。
　文字サイズ検出部１３は、文字領域検出部１２が出力した文字ブロック値を受信し、ブロックごとに当該ブロックが含む文字の文字サイズを判定する。そして、文字サイズ検出部１３は、各ブロックが含む文字サイズを出力する。
　輝度変動回数算出部１４は、拡大部１１が出力した拡大映像信号を受信し、拡大映像信号における水平方向及び垂直方向の輝度変動回数を、変動値として算出する。そして、輝度変動回数算出部１４は、算出した変動値を出力する。
　補正ゲイン算出部１５は、輝度変動回数算出部１４が出力した変動値と、文字サイズ検出部１３が出力した文字サイズと、文字領域検出部１２が出力した文字判定率と、入力映像信号の解像度及びビットレートとを受信し、各ブロックに対して補正部１６が行う画像処理の強さの程度（補正ゲイン）を算出する。なお、補正ゲイン算出部１５が受信する情報の中で必須なのは、文字判定率である。その他の情報は必須ではないが、その他の情報があれば補正ゲインの算出結果をより適正にすることができる。
　補正部１６は、拡大部１１が出力した拡大映像信号に対して、補正ゲイン算出部１５が算出した補正ゲインに基づいて、拡大映像信号を構成するブロックのそれぞれに対する画像処理を施す。画像処理は、平滑化処理、又は、鮮鋭化処理を含む。補正部１６は、画像処理を施した後の信号を、出力映像信号として出力する。
　以下で、各機能ブロックについて、詳細に説明する。
　図２は、本実施の形態における文字領域検出部１２の詳細な機能ブロック図である。
　図２に示されるように文字領域検出部１２は、ＨＰＦ（High-pass filter）部１２１と、文字レベル判定部１２２と、文字ブロック判定部１２３と、文字判定部１２４とを備える。
　ＨＰＦ部１２１は、拡大部１１が出力した拡大映像信号を受信し、拡大映像信号のブロックごとにアンシャープマスク処理を施す。そして、ＨＰＦ部１２１は、アンシャープマスク処理の結果として、ブロックごとのＨＰＦ値を出力する。この処理について以下で具体的に説明する。
　図３の（ａ）は、ＨＰＦ部１２１が受信する拡大映像信号の例（拡大映像信号３０１）である。以下では、図３の（ａ）を用いて文字領域検出部１２の処理を説明する。また、以下では、拡大映像信号３０１を水平方向にＭａｘＩブロックに、かつ、垂直方向にＭａｘＪブロックに分割して得られるブロックのそれぞれに対して処理を施す。例えば、（ＭａｘＩ，ＭａｘＪ）＝（３２，２４）のとき、ＦＨＤの拡大映像信号（１９２０×１０８０）は、水平方向に６０ブロックに、垂直方向に４５ブロックにそれぞれ分割される。また、例えば、（ＭａｘＩ，ＭａｘＪ）＝（２４０，１８０）のとき、ＦＨＤの拡大映像信号は、水平方向に８ブロックに、垂直方向に６ブロックにそれぞれ分割される。ブロックサイズが小さいほど、画像の中で文字が表示される領域を正確に判定することができる。なお、横方向に連続した複数のブロックの並びを列と記述し、縦方向に連続した複数のブロックの並びを行と記述することがある。また、横方向を列方向又は水平方向と、縦方向を行方向又は垂直方向と、それぞれ記述することがある。
　まず、ＨＰＦ部１２１は、拡大映像信号３０１のブロックに対してＬＰＦ（Low-pass filter）値を算出する。ＬＰＦ値とは、当該ブロックの画素に対してＬＰＦを適用して得られる値であり、（式１）で表される。なお、ＬＰＦの係数については、例えば、ＬＰＦの全ての係数が１であるもの（図３の（ｂ））を用いればよい。ＬＰＦの係数は、上記のものに限られない。
Figure JPOXMLDOC01-appb-M000001
　次に、ＨＰＦ部１２１は、中心画素値Ｃ（ブロックの中央の画素の画素値）から、ＬＰＦ値を減算した後、絶対値をとることでＨＰＦ値を算出し（式２）、算出したＨＰＦ値を出力する。
Figure JPOXMLDOC01-appb-M000002
　文字レベル判定部１２２は、拡大部１１が出力した拡大映像信号３０１を受信し、拡大映像信号３０１のブロックごとに、当該ブロックの信号レベルの偏りに基づいて文字が存在していると推測される度合いであるレベル判定値を出力する。この処理について以下で具体的に説明する。
　まず、文字レベル判定部１２２は、ブロックに含まれる画素値に基づいて、信号レベルごとの画素数を算出する（図４Ａ）。ここで、信号レベルとは、画素値の輝度、又は、画素値の所定の色成分などである信号値を、幅がある複数の段階に区分したものである。例えば、信号値として、０から２５５までの２５６段階で示される画素値の輝度を用いる場合、黒色の画素が信号値０に対応し、白色の画素が信号値２５５に対応する。また、信号レベルは、当該信号レベルに隣接する信号レベルとの間で重複するように設定してもよい。つまり、第一の信号レベルが信号値０から４までを含むものであるとし、第二の信号レベルが信号値２から６までを含むものであるとしてもよい。このようにすることで、文字色が厳密に単一でない場合、つまり、文字色に若干の幅があるものの概ね同一である場合にも、適切に文字を検出することができる。
　次に、文字レベル判定部１２２は、信号レベルのそれぞれに属する画素の数を数え、信号レベルに対する画素数を示すヒストグラムを作成する。次に、文字レベル判定部１２２は、作成したヒストグラムに基づいて、閾値を超える画素数を有する信号レベルがあるか否かを判定し、ある場合にはレベル判定値として１を、ない場合にはレベル判定値として０を出力する。なお、閾値は、例えば、３００画素とする。
　文字ブロック判定部１２３は、ＨＰＦ部１２１が出力したＨＰＦ値、及び、文字レベル判定部１２２が出力したレベル判定値を受信し、ブロックごとに、文字があるか否かを示す文字ブロック値を出力する。
　具体的には、文字ブロック判定部１２３は、ＨＰＦ部１２１が出力したＨＰＦ値が閾値以上であるか否かの判定、及び、文字レベル判定部１２２が出力したレベル判定値が１であるか否かの判定を、ブロックごとに行う。その結果、ブロックごとに、ＨＰＦ値が閾値以上であり、かつ、レベル判定値が１である場合に文字ブロック値として１を、上記以外の場合に文字ブロック値として０を出力する。例えば、文字ブロック判定部１２３は、拡大映像信号３０１に対して図４Ｂに示される文字ブロック値４０１を出力する。図４Ｂにおいて、拡大映像信号３０１におけるブロックの位置に対応する位置に、当該ブロックの文字ブロック値が記載されている。拡大映像信号３０１において文字が存在しているブロックに対応する文字ブロック値が１となっている。
　文字判定部１２４は、文字ブロック判定部１２３が出力した文字ブロック値を受信し、文字を含むブロックが隣接している度合いを算出し、文字判定率として出力する。この処理について以下で具体的に説明する。
　具体的には、まず、文字判定部１２４は、拡大映像信号３０１のブロックごとに、当該ブロックを中心とする縦３ブロック×横３ブロックの合計９ブロックの文字ブロック値の総和Ｓを算出する。ここで、列方向で左からｉ番目であって、行方向で上からｊ番目のブロックの文字ブロック値をＭＢ（ｉ，ｊ）と表現する。
Figure JPOXMLDOC01-appb-M000003
　次に、文字判定部１２４は、文字ブロック値の総和Ｓに基づいて文字判定率を算出する。文字判定率は、総和Ｓに対する増加関数であり、総和Ｓが所定値以上のときに１となるものである。所定値は、１から９までの任意の値をとることができる。所定値を３とする場合の、総和Ｓに対する文字判定率の関係を図５の（ｂ）に示す。所定値を３とすれば、当該ブロックと、当該ブロックに隣接する２つ以上のブロックとの文字ブロック値が１であるときに、当該ブロックの文字判定率を１と算出することができる。このようにすれば、文字ブロック値４０１のように、文字ブロック値が１であるブロックが連なっている場合に、これらのブロックの文字判定率を１と算出することができる（図５の（ｃ））。また、例えば、文字ブロック値が１であるブロックに隣接する全てのブロックの文字ブロック値が０である場合に、当該ブロックの文字判定率を１／３（約０．３）と算出することができる（図５の（ｄ））。入力画像における文字は、列方向又は行方向に連なることが多いので、上記の文字判定率を用いることで、列方向又は行方向に連なった文字を検出することで、より適正に文字の存在を判定することができる。
　なお、増加関数とは、任意のｘ及びｙに対して、ｘ＜ｙのときｆ（ｘ）≦ｆ（ｙ）が成立するような関数ｆ（ｘ）を意味する。また、後述される減少関数とは、任意のｘ及びｙに対して、ｘ＜ｙのときｆ（ｘ）≧ｆ（ｙ）が成立するような関数ｆ（ｘ）を意味する。
　図６は、本実施の形態における文字サイズ検出部１３の詳細な機能ブロック図である。
　図６に示されるように、文字サイズ検出部１３は、水平カウント部１３１と、垂直カウント部１３２と、最小選択部１３３とを備える。
　水平カウント部１３１は、文字領域検出部１２の文字ブロック判定部が出力する文字ブロック値を受信し、ブロックごとの水平カウント値を算出し、出力する。具体的には、水平カウント部１３１は、各ブロックに着目し、当該ブロックと同一の行に属するブロックの文字ブロック値を数え、水平カウント値として出力する。例えば、水平カウント部１３１は、図７の（ａ）に示される文字ブロック値（文字ブロック値４０１と同一）に対して、図７の（ｂ）に示される水平カウント値を出力する。
　垂直カウント部１３２は、文字領域検出部１２の文字ブロック判定部が出力する文字ブロック値を受信し、ブロックごとの垂直カウント値を算出し、出力する。具体的には、垂直カウント部１３２は、各ブロックに着目し、当該ブロックと同一の列に属するブロックの文字ブロック値を数え、垂直カウント値として出力する。例えば、垂直カウント部１３２は、図７の（ａ）に示される文字ブロック値（文字ブロック値４０１と同一）に対して、図７の（ｃ）に示される垂直カウント値を出力する。
　最小選択部１３３は、水平カウント部１３１が出力する水平カウント値と、垂直カウント部１３２が出力する垂直カウント値とを受信し、各ブロックにおいて、水平カウント値と垂直カウント値とのうちの小さい方を選択し、小さい方の値を文字サイズとして出力する。例えば、最小選択部１３３は、図７の（ｂ）に示される水平カウント値と、図７の（ｃ）に示される垂直カウント値とに対して、図７の（ｄ）に示される文字サイズを出力する。
　図８は、本実施の形態における輝度変動回数算出部１４の詳細な機能ブロック図である。
　図８に示されるように、輝度変動回数算出部１４は、水平変動算出部１４１と、垂直変動算出部１４２と、最大選択部１４３とを備える。
　水平変動算出部１４１は、拡大部１１が出力した拡大映像信号を受信し、画素単位に、水平方向の画素値の変動の大きさの度合いを示す水平変動値を出力する。水平変動算出部１４１についてさらに詳細に説明する。
　図９は、水平変動算出部１４１の詳細な機能ブロック図である。図９に示されるように、水平変動算出部１４１は、水平輝度差算出部１４１１と、水平符号総和算出部１４１２と、水平絶対値総和算出部１４１３と、乗算器１４１４とを備える。
　水平輝度差算出部１４１１は、拡大部１１が出力した拡大映像信号を受信し、画素単位に、水平方向の隣接画素との輝度差ＤＩＦＦを算出する。
　水平符号総和算出部１４１２は、水平輝度差算出部１４１１が算出した輝度差ＤＩＦＦに基づいて水平符号総和を算出し、出力する。図９を用いて具体的に説明する。具体的には、水平符号総和算出部１４１２は、画素単位に、当該画素（図９の（ｃ）における着目画素）を含む所定の領域において、隣り合う画素の輝度差ＤＩＦＦの総和の絶対値ＤＨ，Ｓを算出する（式４）。なお、所定の領域とは、例えば、当該画素を中心とする水平方向に９画素、垂直方向に９画素の矩形領域である。なお、所定の領域は、上記の矩形領域に限られず、他の画素数を有する矩形領域であってもよいし、三角形、円形のようなその他の図形に含まれる領域であってもよい。また、当該画素を中心とする領域である必要もなく、当該画素を含む領域であればよい。
Figure JPOXMLDOC01-appb-M000004
　次に、水平符号総和算出部１４１２は、ＤＨ，Ｓに基づいて水平符号総和ＳＨ，Ｓを算出する。水平符号総和ＳＨ，Ｓは、ＤＨ，Ｓに対する減少関数であり、ＤＨ，Ｓが小さいときに１となり、ＤＨ，Ｓが大きいときに０となる関数である。水平符号総和ＳＨ，Ｓの具体例を、図９の（ａ）に示す。そして、水平符号総和算出部１４１２は、算出した水平符号総和ＳＨ，Ｓを出力する。
　水平絶対値総和算出部１４１３は、水平輝度差算出部１４１１が算出した輝度差ＤＩＦＦに基づいて水平絶対値総和を算出し、出力する。具体的には、水平絶対値総和算出部１４１３は、画素単位に、当該画素を中心とする所定の範囲において、隣り合う画素の輝度差ＤＩＦＦの絶対値の総和ＤＨ，Ａを算出する（式５）。
Figure JPOXMLDOC01-appb-M000005
　次に、水平絶対値総和算出部１４１３は、ＤＨ，Ａに基づいて水平絶対値総和ＳＨ，Ａを算出する。水平絶対値総和ＳＨ，Ａは、ＤＨ，Ａに対する増加関数であり、ＤＨ，Ａが小さいときに０となり、ＤＨ，Ａが大きいときに１となる関数である。水平絶対値総和ＳＨ，Ａの具体例を、図９の（ｂ）に示す。そして、水平絶対値総和算出部１４１３は、算出した水平絶対値総和ＳＨ，Ａを出力する。
　乗算器１４１４は、水平符号総和算出部１４１２が出力した水平符号総和と、水平絶対値総和算出部１４１３が出力した水平絶対値総和とを受信し、水平符号総和と水平絶対値総和との積を、水平変動値として出力する。この水平変動値が、水平変動算出部１４１の出力となる。
　図８に戻り、垂直変動算出部１４２は、拡大部１１が出力した拡大映像信号を受信し、画素単位に、垂直方向の画素値の変動の大きさの度合いを示す垂直変動値を出力する。垂直変動算出部１４２についてさらに詳細に説明する。
　図１０は、垂直変動算出部１４２の詳細な機能ブロック図である。図１０に示されるように、垂直変動算出部１４２は、垂直輝度差算出部１４２１と、垂直符号総和算出部１４２２と、垂直絶対値総和算出部１４２３と、乗算器１４２４とを備える。
　垂直輝度差算出部１４２１は、拡大部１１が出力した拡大映像信号を受信し、画素単位に、垂直方向の隣接画素との輝度差ＤＩＦＦを算出する。
　垂直符号総和算出部１４２２は、垂直輝度差算出部１４２１が算出した輝度差ＤＩＦＦに基づいて垂直符号総和を算出し、出力する。具体的な算出方法は、水平符号総和算出部１４１２が水平符号総和を算出した方法と同様であり、隣り合う画素の輝度差ＤＩＦＦの総和の絶対値ＤＶ，Ｓ（式６）に基づいて垂直符号総和ＳＶ，Ｓを算出する。
Figure JPOXMLDOC01-appb-M000006
　垂直絶対値総和算出部１４２３は、垂直輝度差算出部１４２１が算出した輝度差ＤＩＦＦに基づいて垂直絶対値総和を算出する。具体的な算出方法は、水平絶対値総和算出部１４１３が水平絶対値総和を算出した方法と同様であり、隣り合う画素の輝度差ＤＩＦＦの総和の絶対値ＤＶ，Ａ（式７）に基づいて垂直符号総和ＳＶ，Ａを算出する。
Figure JPOXMLDOC01-appb-M000007
　乗算器１４２４は、垂直符号総和算出部１４２２が出力した垂直符号総和と、垂直絶対値総和算出部１４２３が出力した垂直絶対値総和とを受信し、垂直符号総和と垂直絶対値総和との積を、垂直変動値として出力する。この垂直変動値が、垂直変動算出部１４２の出力となる。
　図８に戻り、最大選択部１４３は、水平変動算出部１４１が出力した水平変動値と、垂直変動算出部１４２が出力した垂直変動値とを受信し、画素ごとに水平変動値と垂直変動値との大きい方法を、変動値として出力する。
　図１１は、本実施の形態における補正ゲイン算出部１５の詳細な機能ブロック図である。図１１に示されるように、補正ゲイン算出部１５は、変動値ゲイン算出部１５１と、文字サイズゲイン算出部１５２と、文字判定率ゲイン算出部１５３と、解像度ゲイン算出部１５４と、ビットレートゲイン算出部１５５と、乗算器１５６とを備える。なお、文字判定率ゲイン算出部１５３と、乗算器１５６とは必須の構成要素である。また、変動値ゲイン算出部１５１と、文字サイズゲイン算出部１５２と、文字判定率ゲイン算出部１５３と、解像度ゲイン算出部１５４と、ビットレートゲイン算出部１５５とについては、これらのうち少なくとも１つがあればよい。
　変動値ゲイン算出部１５１は、輝度変動回数算出部１４が出力した変動値を受信し、その変動値に基づいて変動値ゲインを算出し、出力する。具体的には、変動値ゲイン算出部１５１は、変動値が大きいほど、より小さな変動値ゲインを算出する。変動値ゲインは、０以上かつ１以下の値をとる。変動値に対する変動値ゲインの関数の例を図１２の（ａ）に示す。
　上記のようにすることにより、入力映像信号の中で輝度変動が大きい部分に対して、画像処理の補正ゲインを小さくすることができる。輝度変動回数算出部１４が出力した変動値は、周辺の画素との輝度変化が大きい画素において大きな値をとる。このように輝度変化が大きい画素、及び、その周辺の部分では、圧縮ノイズによる劣化が大きい（文字の画像としての崩れが大きい）ことが知られている。このような部分に画像処理（鮮鋭化処理）を施すと、圧縮ノイズが目立ちやすくなったり、画像がさらに崩れたりする。よって、このような部分に施す画像処理の補正ゲインを小さくすることにより、圧縮ノイズが目立ちやすくなるのを防ぐことができる。
　図１１に戻り、文字サイズゲイン算出部１５２は、文字サイズ検出部１３が出力した文字サイズを受信し、その文字サイズに基づいて文字サイズゲインを算出し、出力する。具体的には、文字サイズゲイン算出部１５２は、文字サイズが大きいほど、より大きな文字サイズゲインを算出する。文字サイズゲインは、０以上かつ１以下の値をとる。文字サイズに対する文字サイズゲインの関数の例を図１２の（ｂ）に示す。
　上記のようにすることにより、入力映像信号の中で小さな文字を含む部分に対して、画像処理の補正ゲインを小さくすることができる。文字サイズ検出部１３が出力した文字サイズは、小さな文字を含むブロックにおいて小さな値をとる。このように小さなブロックを含む部分では、圧縮ノイズによる劣化が大きい（文字の画像としての崩れが大きい）ことが知られている。このような部分に画像処理（鮮鋭化処理）を施すと、圧縮ノイズが目立ちやすくなる。一方、大きな文字を含む部分は、入力映像信号の提供者が当該文字を強調することを意図していることが多い。また、大きな文字を含む部分は、画像処理（鮮鋭化処理）により適切に鮮鋭化されることが知られている。よって、小さな文字を含む部分に施す画像処理の補正ゲインを小さくすることにより、圧縮ノイズが目立ちやすくなるのを防ぐとともに、大きな文字を含む部分に施す画像処理の補正ゲインを大きくすることにより、大きな文字の視認性を向上することができる。
　図１１に戻り、文字判定率ゲイン算出部１５３は、文字領域検出部１２が出力した文字判定率を受信し、その文字判定率に基づいて文字判定率ゲインを算出し、出力する。具体的には、文字判定率ゲイン算出部１５３は、文字判定率が小さいほど、より小さな文字判定率ゲインを算出する。文字判定率ゲインは、０以上かつ１以下の値をとる。文字判定率に対する文字判定率ゲインの関数の例を図１２の（ｃ）に示す。
　上記のようにすることにより、入力映像信号の中で文字を含むと推定される部分に対して補正ゲインを大きくし、かつ、文字を含まないと推定される部分に対して補正ゲインを小さくすることができる。文字領域検出部１２が出力した文字判定率は、文字を含むと推定されるブロックにおいて大きな値をとり（例えば、図５の（ｃ）右図における１）、上記以外のブロックにおいて小さな値をとる（例えば、図５の（ｄ）右図における０．１）。文字を含む部分に施す画像処理の補正ゲインを大きくすることにより、文字の視認性を向上することができる。
　図１１に戻り、解像度ゲイン算出部１５４は、入力映像信号の解像度を受信し、その解像度に基づいて解像度ゲインを算出し、出力する。具体的には、解像度ゲイン算出部１５４は、解像度が所定値より大きいほど、又は、解像度が所定値より小さいほど、より小さな解像度ゲインを算出する。言い換えれば、解像度ゲイン算出部１５４は、解像度と所定値との差分が大きいほど、より小さな解像度ゲインを算出する。解像度ゲインは、０以上かつ１以下の値をとる。解像度に対する解像度ゲインの関数の例を図１２の（ｄ）に示す。
　上記のようにすることにより、所定値より大きい解像度を有する入力映像信号に対して補正ゲインを小さくすることができる。入力映像信号の解像度が大きいほど、拡大部１１による拡大処理の効果が小さい。所定値より大きい解像度を有する入力映像信号に対して行われる拡大処理により生ずる画像の歪は小さい（文字の画像としての崩れが小さい）ので、画像処理の補正ゲインを小さくする。また、上記のようにすることにより、所定値より小さい解像度を有する入力映像信号に対して補正ゲインを小さくすることができる。入力映像信号の解像度が小さいほど、拡大部１１による拡大処理の効果が大きい。所定値より小さい解像度を有する入力映像信号に対して行われる拡大処理により生ずる画像の歪は大きい（文字の画像としての崩れが大きい）。画像の歪が大きすぎる場合、文字の細かな構造が失われる（文字がつぶれる）。このような場合には、画像処理により文字の鮮鋭さを向上することが期待されないので、画像処理の補正ゲインを小さくする。
　図１１に戻り、ビットレートゲイン算出部１５５は、入力映像信号のビットレートを受信し、そのビットレートに基づいてビットレートゲインを算出し、出力する。具体的には、ビットレートゲイン算出部１５５は、ビットレートが小さいほど、より小さなビットレートゲインを算出する。ビットレートゲインは、０以上かつ１以下の値をとる。ビットレートに対するビットレートゲインの関数の例を図１２の（ｅ）に示す。なお、入力映像信号が動画である場合、動画を構成するフレームごとにビットレートが異なる場合がある。その場合、処理対象のフレームのビットレートを用いればよい。
　上記のようにすることにより、ビットレートの小さい入力映像信号に対する画像処理の補正ゲインを小さくすることができる。ビットレートの小さい入力映像信号は、当該入力信号が生成される際に発生する圧縮ノイズを多く含んでおり、大きく劣化している（文字の画像としての崩れが大きい）。よって、画像処理により鮮鋭さを向上することが期待されないので、画像処理の補正ゲインを小さくする。
　図１１に戻り、乗算器１５６は、変動値ゲインと、文字サイズゲインと、文字判定率ゲインと、解像度ゲインと、ビットレートゲインとの積を、補正ゲインとして出力する。
　図１３は、本実施の形態における補正部１６の詳細な機能ブロック図である。図１３に示されるように、補正部１６は、平滑化部１６１と、鮮鋭化部１６２とを備える。
　平滑化部１６１は、拡大部１１が生成した拡大映像信号と、補正ゲイン算出部１５が算出した補正ゲインとを受信する。そして、平滑化部１６１は、拡大映像信号を平滑化することにより、平滑化映像信号を生成し、出力する。平滑化部１６１についてさらに詳細に説明する。
　図１４は、平滑化部１６１の詳細な機能ブロック図である。図１４に示されるように、平滑化部１６１は、ＬＰＦ（Low-pass filter）部１６１１と、減算器１６１２と、乗算器１６１３と、加算器１６１４とを備える。
　ＬＰＦ（Low-pass filter）部１６１１は、拡大映像信号に対してＬＰＦを適用し、適用した結果得られた信号を出力する。
　減算器１６１２は、ＬＰＦ部が拡大映像信号に対してＬＰＦを適用して得られる信号から、拡大映像信号を減算し、減算した結果得られた信号を出力する。
　乗算器１６１３は、減算器１６１２が出力した信号と、補正ゲイン算出部１５が算出した補正ゲインとの積を算出し、出力する。
　加算器１６１４は、拡大映像信号と、乗算器１６１３が出力した信号とを加算して、平滑化映像信号として出力する。
　上記の構成により、平滑化部１６１は、補正ゲインが０のときには、拡大映像信号そのものを平滑化映像信号として出力する。また、平滑化部１６１は、補正ゲインが１のときには、拡大映像信号が平滑化された信号を平滑化映像信号として出力する。また、平滑化部１６１は、補正ゲインが０と１との間の値のときには、補正ゲインが大きいほどより強く平滑化された拡大映像信号を、平滑化映像信号として出力する。
　図１５は、鮮鋭化部１６２の詳細な機能ブロック図である。なお、図１５に示される処理は、アンシャープマスク処理の一例である。
　図１５に示されるように、鮮鋭化部１６２は、ＬＰＦ部１６２１と、減算器１６２２と、乗算器１６２３と、乗算器１６２４と、加算器１６２５とを備える。
　ＬＰＦ部１６２１は、平滑化映像信号Ａ（図１６の（Ａ））に対してＬＰＦを適用し、適用した結果得られた信号Ｂ（図１６の（Ｂ））を出力する。
　減算器１６２２は、ＬＰＦ部１６２１が出力した信号から、拡大映像信号を減算し、減算した結果得られた信号Ｃ（図１６の（Ｃ））を出力する。
　乗算器１６２３は、基準ゲインと、補正ゲインとの積を算出し、ゲインとして出力する。ここで、基準ゲインとは、鮮鋭化処理の強度（効果の大きさ）の基準となる数値である。つまり、基準ゲインが大きいほど、より強い（効果がより大きい）鮮鋭化処理が施される。基準ゲインは、あらかじめ設定された値であり、例えば、３としてよい。
　乗算器１６２４は、減算器１６２２が出力した信号と、ゲインとの積を算出し、出力する。
　加算器１６２５は、平滑化映像信号と、乗算器１６２４が出力した信号とを加算して、出力映像信号Ｄ（図１６の（Ｄ））として出力する。
　上記の構成により、鮮鋭化部１６２は、補正ゲインが０のときには、拡大映像信号そのものを出力映像信号として出力する。また、鮮鋭化部１６２は、補正ゲインが１のときには、基準ゲインで示される強さで拡大映像信号が鮮鋭化された信号を出力映像信号として出力する。また、鮮鋭化部１６２は、補正ゲインが０と１との間の値のときには、補正ゲインが大きいほどより強く鮮鋭化された拡大映像信号を、平滑化映像信号として出力する。つまり、補正ゲインは、鮮鋭化処理の強さの程度を、基準ゲインと０との間で調整する値として機能する。
　なお、上記において、補正ゲイン算出部１５において、入力映像信号の解像度に基づいて補正ゲインの算出を行う例を示したが、解像度の代わりに、拡大部１１の拡大処理における拡大率を用いることもできる。解像度と拡大率とは逆数の関係にある。解像度の代わりに拡大率を用いる場合、拡大率に係る補正ゲインの成分を拡大率ゲインとすれば、補正ゲイン算出部１５は、拡大率が所定値より大きいほど、又は、拡大率が所定値より小さいほど、より小さな拡大率ゲインを算出する。言い換えれば、補正ゲイン算出部１５は、拡大率と所定値との差分が大きいほど、より小さな拡大率ゲインを算出する。
　［１－２．動作］
　以上のように構成された画像処理装置１について、その動作を以下に説明する。
　図１７は、実施の形態１における画像処理装置１のフローチャートである。以下で、画像処理装置１の動作及び処理について詳細に説明する。
　ステップＳ１７０１において、画像処理装置１は、入力映像信号を受信する。
　ステップＳ１７０２において、拡大部１１は、ステップＳ１７０１で画像処理装置が受信した入力映像信号に対して拡大処理を施す。なお、拡大部１１は必須の構成要素ではない。画像処理装置１が拡大部１１を備えない場合には、ステップＳ１７０２の処理は行われない。その場合、画像処理装置１は、拡大部１１と同等の機能を有する外部装置から、拡大映像信号を取得する。
　ステップＳ１７０３において、文字領域検出部１２は、拡大映像信号を受信し、拡大映像信号に含まれる文字領域を検出する。そして、文字ブロック値と、文字判定率とを算出し、出力する。
　ステップＳ１７０４において、文字サイズ検出部１３は、ステップＳ１７０３で文字領域検出部１２が出力した文字ブロック値を受信し、ブロックごとに当該ブロックが含む文字の文字サイズを判定する。そして、文字サイズ検出部１３は、各ブロックが含む文字サイズを出力する。
　ステップＳ１７０５において、輝度変動回数算出部１４は、ステップＳ１７０２で拡大部１１が出力した拡大映像信号を受信し、拡大映像信号における水平方向及び垂直方向の輝度変動回数を、変動値として算出する。そして、輝度変動回数算出部１４は、算出した変動値を出力する。なお、ステップＳ１７０５は、必ずしもステップＳ１７０４の後に実行されなくてもよく、ステップＳ１７０２の処理が完了した後であれば、実行可能である。
　ステップＳ１７０６において、補正ゲイン算出部１５は、ステップＳ１７０５で輝度変動回数算出部１４が出力した変動値と、ステップＳ１７０４で文字サイズ検出部１３が出力した文字サイズと、ステップＳ１７０３で文字領域検出部１２が出力した文字判定率と、ステップＳ１７０１で受信した入力映像信号の解像度及びビットレートとを受信し、各ブロックに対して補正部１６が行う画像処理の強さの程度（補正ゲイン）を算出する。
　ステップＳ１７０７において、補正部１６は、拡大映像信号に対して、補正ゲイン算出部１５が算出した補正ゲインに基づいて、拡大映像信号を構成するブロックのそれぞれに対する画像処理を施す。ここで、拡大映像信号は、ステップＳ１７０２で拡大部１１が入力映像信号を拡大することにより生成したものである。また、拡大映像信号は、画像処理装置１が拡大部１１を備えない場合には、外部装置から取得したものである。
　ステップＳ１７０８において、画像処理装置１は、ステップＳ１７０７で補正部１６が出力した出力映像信号を出力する。
　［１－３．効果］
　以上のように、本実施の形態にかかる画像処理装置は、画像処理装置は、入力画像の中の文字領域に対して、鮮鋭さを高める画像処理であって特徴量に応じた強さの画像処理（特徴量に応じた効果を有する画像処理）を施すことができる。特徴量は、入力画像に施された拡大処理による文字領域内の画像の崩れの度合いを示す量であるので、画像処理装置は、特徴量に基づいて画像処理を行うことにより、適正に画像の崩れを補正することができる。よって、画像処理装置は、画像内の文字の鮮鋭さを高めることができる。
　また、画像処理装置は、入力画像の中で小さな文字を含む部分には、効果が小さい画像処理を施すことができる。入力画像の中で小さな文字を含む部分の画像は、拡大処理により発生した画像の崩れが大きいために、画像処理による補正により拡大前の画像に復元できなくなっている場合がある。その場合に、効果が大きい画像処理を施すと、拡大前の画像に復元できないだけでなく、画像の崩れをさらに進める可能性がある。その場合には、効果が小さい画像処理を施すことにより、画像処理により発生する画像の崩れを未然に防ぐことができる。
　また、画像処理装置は、入力画像の中でも所定方向に画素をスキャンした場合に輝度の変動回数が大きい部分には、効果が小さい画像処理を施すことができる。輝度の変動回数が大きい部分は、小さな文字を含む部分、または、字画（画数）が多いなど複雑な形状を有する文字を含む部分に相当する。このような部分は、拡大処理により発生した画像の崩れが大きいために、画像処理による補正により拡大前の画像に復元できなくなっている場合がある。その場合に、効果が大きい画像処理を施すと、拡大前の画像に復元できないだけでなく、画像の崩れをさらに進める可能性がある。その場合には、効果が小さい画像処理を施すことにより、画像処理により発生する画像の崩れを未然に防ぐことができる。
　また、画像処理装置は、解像度が低い入力画像の文字領域に対して、効果が小さい画像処理を施すことができる。解像度が低い入力画像は、拡大処理により発生した画像の崩れが大きいために、画像処理による補正により拡大前の画像に復元できなくなっている場合がある。その場合に、効果が大きい画像処理を施すと、拡大前の画像に復元できないだけでなく、画像の崩れをさらに進める可能性がある。その場合には、効果が小さい画像処理を施すことにより、画像処理により発生する画像の崩れを未然に防ぐことができる。また、解像度が高い入力画像には、拡大率が小さい拡大処理が施される。拡大率が小さい拡大処理により発生する画像の崩れは小さいので、効果が小さい画像処理を施すことにより適正に画像の崩れを補正することができる。
　また、画像処理装置は、ビットレートが低い入力画像の文字領域に対して、効果が小さい画像処理を施すことができる。ビットレートが低い入力画像は、圧縮による歪を多く含んでいるので、画像処理による補正により拡大前の画像に復元できなくなっている場合がある。その場合に、効果が大きい画像処理を施すと、拡大前の画像に復元できないだけでなく、画像の崩れをさらに進める可能性がある。その場合には、効果が小さい画像処理を施すことにより、画像処理により発生する画像の崩れを未然に防ぐことができる。
　また、画像処理装置は、入力画像に対して鮮鋭化処理を施すことにより、画像の崩れを補正することができる。
　また、画像処理装置は、入力画像のノイズを除去することにより、画像の崩れを補正することができる。
　また、画像処理装置は、比較的解像度が低い入力画像を受信し、受信した入力画像に対して拡大処理と鮮鋭さを高める画像処理を施し、画像処理が施された入力画像を出力することができる。
　（実施の形態２）
　以下、図１８Ａを用いて、実施の形態２を説明する。実施の形態１にかかる画像処理装置１は、文字領域検出部１２及び輝度変動回数算出部１４は、拡大映像信号に基づいて処理を実行したが、本実施の形態では、上記に相当する機能ブロックが入力映像信号に基づいて処理を実行する画像処理装置の例を説明する。
　［２－１．構成］
　図１８Ａは、本実施の形態における画像処理装置２の機能ブロック図である。図１８Ａに示されるように、本実施の形態における画像処理装置２は、文字領域検出部１２Ａと、輝度変動回数算出部１４Ａとを備える。その他の機能ブロックは、実施の形態１にかかる画像処理装置１と同様であるので詳細な説明を省略する。
　文字領域検出部１２Ａは、画像処理装置２が受信した入力映像信号を受信し、入力映像信号に含まれる文字領域を検出する。具体的には、文字領域検出部１２Ａは、入力映像信号を構成するブロックごとに当該ブロックが文字を含んでいるか否かを判定する。この判定の結果、文字を含むブロックか否かをブロックごとに示す文字ブロック値と、文字ブロック値を隣接ブロックとの関係を考慮して平均化した値である文字判定率とを算出し、出力する。
　輝度変動回数算出部１４Ａは、画像処理装置２が受信した入力映像信号を受信し、入力映像信号における水平方向及び垂直方向の輝度変動回数を、変動値として算出する。そして、輝度変動回数算出部１４Ａは、算出した変動値を出力する。
　［２－２．動作］
　以上のように構成された画像処理装置２について、その動作を以下に説明する。
　なお、画像処理装置２の動作は、画像処理装置１の動作におけるステップＳ１７０３及びステップ１７０５が、それぞれ、対応する処理ステップであるステップＳ１７０３Ａ及びステップ１７０５Ａに置き換わる。ステップＳ１７０３Ａ及びステップ１７０５Ａについて以下で説明する。
　ステップＳ１７０３Ａは、画像処理装置１のステップＳ１７０３に対応する処理ステップである。ステップＳ１７０３Ａにおいて、文字領域検出部１２Ａは、入力映像信号を受信し、入力映像信号に含まれる文字領域を検出する。そして、文字ブロック値と、文字判定率とを算出し、出力する。
　ステップＳ１７０５Ａは、画像処理装置１のステップＳ１７０５に対応する処理ステップである。ステップＳ１７０５Ａは、輝度変動回数算出部１４Ａは、ステップＳ１７０２で入力映像信号を受信し、入力映像信号における水平方向及び垂直方向の輝度変動回数を、変動値として算出する。そして、輝度変動回数算出部１４Ａは、算出した変動値を出力する。なお、ステップＳ１７０５Ａは、必ずしもステップＳ１７０４の後に実行されなくてもよく、ステップＳ１７０２の処理が完了した後であれば、実行可能である。
　［２－３．効果］
　このようにすることで、入力映像信号に基づいて補正ゲイン算出部１５が補正ゲインを算出し、算出した補正ゲインに基づいて補正部１６が拡大映像信号に対して画像処理を行うことができる。拡大部１１による拡大処理により、入力映像信号と拡大映像信号との間には、解像度の違いだけではなく、画素補間により画素値の違い（ぼやけ）が生ずる場合がある。このような場合に、入力映像信号から算出した補正ゲインに基づいて画像処理を行うことにより、より適正に文字の鮮鋭さを高めることができる。
　（実施の形態２の変形例）
　以下、図１８Ｂを用いて、実施の形態２の変形例を説明する。本変形例にかかる画像処理装置３は、実施の形態１又は実施の形態２の必須の構成要素を示すものである。
　［３－１．構成］
　図１８Ｂは、本変形例における画像処理装置３の機能ブロック図である。図１８Ｂに示されるように、本変形例における画像処理装置３は、文字領域検出部３２と、特徴量検出部３３と、補正ゲイン算出部３４と、補正部３５とを備える。
　文字領域検出部３２は、入力画像から、文字を含む領域である文字領域を検出する。なお、文字領域検出部３２は、文字領域検出部１２に相当する。
　特徴量検出部３３は、文字領域検出部３２が検出した文字領域内の画像の崩れの度合いを示す特徴量を検出する。なお、特徴量検出部３３は、文字サイズ検出部１３又は輝度変動回数算出部１４に相当する。
　補正ゲイン算出部３４は、特徴量検出部３３が検出した特徴量に基づいて、文字領域検出部３２が検出した文字領域に対する補正ゲインを算出する。なお、補正ゲイン算出部３４は、補正ゲイン算出部１５に相当する。
　補正部３５は、補正ゲイン算出部３４が算出した補正ゲインが小さいほど、文字領域内の画像に対してより効果が小さい画像処理を施すことにより、入力信号に補正を行う。なお、補正部３５は、補正部１６に相当する。
　［３－２．効果］
　本変形例における画像処理装置３によれば、実施の形態１又は実施の形態２と同様の効果を奏する。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、各実施の形態を説明した。
　各実施の形態における画像処理装置は、例えば、テレビ（図１９）、映像記録装置、セットトップボックス、ＰＣ（Personal computer）などに搭載される。
　本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１及び２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記実装を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、比較的解像度が小さい入力映像信号を受信し、入力映像信号より解像度が高い出力映像信号を出力する画像処理装置に適用可能である。具体的には、テレビ、映像記録装置、セットトップボックス、ＰＣ（Personal computer）などに、本開示は適用可能である。
　　１、２、３　　画像処理装置
　　１１　　拡大部
　　１２、１２Ａ、３２　　文字領域検出部
　　１３　　文字サイズ検出部
　　１４、１４Ａ　　輝度変動回数算出部
　　１５、３４　　補正ゲイン算出部
　　１６、３５　　補正部
　　３３　　特徴量検出部
　　１２１　　ＨＰＦ部
　　１２２　　文字レベル判定部
　　１２３　　文字ブロック判定部
　　１２４　　文字判定部
　　１３１　　水平カウント部
　　１３２　　垂直カウント部
　　１３３　　最小選択部
　　１４１　　水平変動算出部
　　１４２　　垂直変動算出部
　　１４３　　最大選択部
　　１５１　　変動値ゲイン算出部
　　１５２　　文字サイズゲイン算出部
　　１５３　　文字判定率ゲイン算出部
　　１５４　　解像度ゲイン算出部
　　１５５　　ビットレートゲイン算出部
　　１５６、１４１４、１４２４、１６１３、１６２３、１６２４　　乗算器
　　１６１　　平滑化部
　　１６２　　鮮鋭化部
　　３０１　　拡大映像信号
　　４０１　　文字ブロック値
　　１４１１　　水平輝度差算出部
　　１４１２　　水平符号総和算出部
　　１４１３　　水平絶対値総和算出部
　　１４２１　　垂直輝度差算出部
　　１４２２　　垂直符号総和算出部
　　１４２３　　垂直絶対値総和算出部
　　１６１１、１６２１　　ＬＰＦ部
　　１６１２、１６２２　　減算器
　　１６１４、１６２５　　加算器
 

Claims (9)

  1. 　入力画像から、文字を含む領域である文字領域を検出する文字領域検出部と、
    　前記文字領域検出部が検出した前記文字領域内の画像の崩れの度合いを示す特徴量を検出する特徴量検出部と、
    　前記特徴量検出部が検出した前記特徴量に基づいて補正ゲインを算出する補正ゲイン算出部と、
    　前記補正ゲイン算出部が算出した前記補正ゲインが小さいほど、前記文字領域内の画像に対して効果がより小さい画像処理を施すことにより、前記入力画像に補正を行う補正部とを備える
    　画像処理装置。
  2. 　前記特徴量検出部は、
    　前記文字領域の文字の大きさである文字サイズを前記特徴量として検出する文字サイズ検出部を有し、
    　前記補正ゲイン算出部は、
    　前記文字サイズ検出部が検出した前記文字サイズが小さいほど、より小さな前記補正ゲインを算出する
    　請求項１に記載の画像処理装置。
  3. 　前記特徴量検出部は、
    　前記文字領域内の画像において、輝度の変動回数を前記特徴量として検出する輝度変動検出部を有し、
    　前記補正ゲイン算出部は、
    　前記輝度変動検出部が検出した前記変動回数が大きいほど、より小さな前記補正ゲインを算出する
    　請求項１又は２に記載の画像処理装置。
  4. 　前記特徴量検出部は、
    　前記入力画像の解像度を前記特徴量として検出し、
    　前記補正ゲイン算出部は、
    　前記解像度と所定値との差分が大きいほど、より小さな前記補正ゲインを算出する
    　請求項１～３のいずれか１項に記載の画像処理装置。
  5. 　前記特徴量検出部は、
    　前記入力画像のビットレートを前記特徴量として検出し、
    　前記補正ゲイン算出部は、
    　前記ビットレートが小さいほど、より小さな前記補正ゲインを算出する
    　請求項１～４のいずれか１項に記載の画像処理装置。
  6. 　前記補正部は、
    　前記画像処理として鮮鋭化処理を施すことにより、前記補正を行う
    　請求項１～５のいずれか１項に記載の画像処理装置。
  7. 　前記補正部は、
    　前記画像処理としてノイズ除去処理を施すことにより、前記補正を行う
    　請求項１～５のいずれか１項に記載の画像処理装置。
  8. 　前記画像処理装置は、さらに、
    　前記入力画像に対して、解像度を上げる処理である拡大処理を施す拡大部を備え、
    　前記文字領域検出部は、前記拡大部が前記拡大処理を施した後の前記入力画像から前記文字領域を検出する
    　請求項１～７のいずれか１項に記載の画像処理装置。
  9. 　入力画像から、文字を含む領域である文字領域を検出する文字領域検出ステップと、
    　前記文字領域検出ステップで検出した前記文字領域内の画像の崩れの度合いを示す特徴量を検出する特徴量検出ステップと、
    　前記特徴量検出ステップで検出した前記特徴量に基づいて補正ゲインを算出する補正ゲイン算出ステップと、
    　前記補正ゲイン算出ステップで算出した前記補正ゲインが小さいほど、前記文字領域内の画像に対して効果がより小さい画像処理を施すことにより、前記入力画像に補正を行う補正ステップとを含む
    　画像処理方法。
     
     
PCT/JP2012/008390 2012-12-27 2012-12-27 画像処理装置、および、画像処理方法 WO2014102876A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014553893A JPWO2014102876A1 (ja) 2012-12-27 2012-12-27 画像処理装置、および、画像処理方法
PCT/JP2012/008390 WO2014102876A1 (ja) 2012-12-27 2012-12-27 画像処理装置、および、画像処理方法
US14/639,105 US20150178895A1 (en) 2012-12-27 2015-03-04 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/008390 WO2014102876A1 (ja) 2012-12-27 2012-12-27 画像処理装置、および、画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/639,105 Continuation US20150178895A1 (en) 2012-12-27 2015-03-04 Image processing device and image processing method

Publications (1)

Publication Number Publication Date
WO2014102876A1 true WO2014102876A1 (ja) 2014-07-03

Family

ID=51020040

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/008390 WO2014102876A1 (ja) 2012-12-27 2012-12-27 画像処理装置、および、画像処理方法

Country Status (3)

Country Link
US (1) US20150178895A1 (ja)
JP (1) JPWO2014102876A1 (ja)
WO (1) WO2014102876A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10057104B2 (en) * 2015-03-27 2018-08-21 Panasonic Intellectual Property Management Co., Ltd. Signal processing device, display device, signal processing method, and program
CN110717486B (zh) * 2018-07-13 2022-08-05 杭州海康威视数字技术股份有限公司 文本检测方法、装置、电子设备和存储介质
KR102627646B1 (ko) 2018-10-23 2024-01-19 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
CN112954110A (zh) 2019-12-10 2021-06-11 北京小米移动软件有限公司 图像处理方法、装置及存储介质
TWI715448B (zh) * 2020-02-24 2021-01-01 瑞昱半導體股份有限公司 偵測解析度的方法及電子裝置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245450A (ja) * 2001-02-20 2002-08-30 Ricoh Co Ltd 画像処理装置、画像処理方法、該方法を実行するプログラムおよび該プログラムを記録した記録媒体
JP2004117527A (ja) * 2002-09-24 2004-04-15 Sharp Corp 液晶表示装置
JP3861352B2 (ja) * 1997-01-28 2006-12-20 富士ゼロックス株式会社 画像処理装置
JP2007005972A (ja) * 2005-06-22 2007-01-11 Murata Mach Ltd 画像処理装置
JP2009100270A (ja) * 2007-10-17 2009-05-07 Sharp Corp 映像編集方法およびテレビ放送受信機
JP2012064994A (ja) * 2010-09-14 2012-03-29 Ricoh Co Ltd 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及び記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6922487B2 (en) * 2001-11-02 2005-07-26 Xerox Corporation Method and apparatus for capturing text images
US7423781B2 (en) * 2002-03-20 2008-09-09 Ricoh Company, Ltd. Image processor and image processing method for image enhancement using edge detection
EP1398726B1 (en) * 2002-09-11 2008-07-30 Samsung Electronics Co., Ltd. Apparatus and method for recognizing character image from image screen
EP1555804A3 (en) * 2004-01-19 2006-08-16 Ricoh Company, Ltd. Image processing apparatus, image processing program and storage medium
US8873890B2 (en) * 2004-04-02 2014-10-28 K-Nfb Reading Technology, Inc. Image resizing for optical character recognition in portable reading machine
US7593595B2 (en) * 2004-08-26 2009-09-22 Compulink Management Center, Inc. Photographic document imaging system
CN100369049C (zh) * 2005-02-18 2008-02-13 富士通株式会社 灰度字符的精确分割装置及方法
US7668382B2 (en) * 2006-02-24 2010-02-23 Microsoft Corporation Block-based fast image compression
US7953295B2 (en) * 2006-06-29 2011-05-31 Google Inc. Enhancing text in images
US8489987B2 (en) * 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US7912289B2 (en) * 2007-05-01 2011-03-22 Microsoft Corporation Image text replacement
US8005319B2 (en) * 2007-09-24 2011-08-23 Arcsoft, Inc. Method for digitally magnifying images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3861352B2 (ja) * 1997-01-28 2006-12-20 富士ゼロックス株式会社 画像処理装置
JP2002245450A (ja) * 2001-02-20 2002-08-30 Ricoh Co Ltd 画像処理装置、画像処理方法、該方法を実行するプログラムおよび該プログラムを記録した記録媒体
JP2004117527A (ja) * 2002-09-24 2004-04-15 Sharp Corp 液晶表示装置
JP2007005972A (ja) * 2005-06-22 2007-01-11 Murata Mach Ltd 画像処理装置
JP2009100270A (ja) * 2007-10-17 2009-05-07 Sharp Corp 映像編集方法およびテレビ放送受信機
JP2012064994A (ja) * 2010-09-14 2012-03-29 Ricoh Co Ltd 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及び記録媒体

Also Published As

Publication number Publication date
JPWO2014102876A1 (ja) 2017-01-12
US20150178895A1 (en) 2015-06-25

Similar Documents

Publication Publication Date Title
JP5342068B2 (ja) 多重フレームへのアプローチ方法および画像アップスケール処理システム
US7613363B2 (en) Image superresolution through edge extraction and contrast enhancement
US8718133B2 (en) Method and system for image scaling detection
US9202263B2 (en) System and method for spatio video image enhancement
US8792746B2 (en) Image processing apparatus, image processing method, and program
US9025903B2 (en) Image processing device and image processing method
KR20160064953A (ko) 영상 처리 장치, 영상 처리 방법, 및 프로그램
JP2011107702A (ja) 入力画像の画像処理システム、画像表示システム、及び画像処理方法
US20100067818A1 (en) System and method for high quality image and video upscaling
WO2014102876A1 (ja) 画像処理装置、および、画像処理方法
US8213736B2 (en) Image processing device and image processing method
US6879733B2 (en) Image artifact removal technique for LCP
JP5781370B2 (ja) 画像処理装置、画像処理方法、画像処理装置を備える画像表示装置、プログラムおよび記録媒体
US9589324B1 (en) Overshoot protection of upscaled images
US6879734B2 (en) Memory efficient image artifact removal technique for LCP
US20140010455A1 (en) Imaging processing apparatus, image processing system and method for processing image
US9349167B2 (en) Image processing method and image processing apparatus
CN112184583B (zh) 一种图像降噪方法及装置
TWI389571B (zh) 影像處理方法以及影像處理裝置
KR20190070134A (ko) 대형 디스플레이의 영상 크기 조절 장치 및 방법
JP2014178742A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP4930638B2 (ja) 画像補正装置および画像補正方法
KR20230097405A (ko) 배경제거 장치 및 배경제거 방법
JP2011081688A (ja) 画像処理方法及びプログラム
JP2015035698A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12890964

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014553893

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12890964

Country of ref document: EP

Kind code of ref document: A1