WO2007013238A1 - 映像処理装置及び映像処理方法 - Google Patents

映像処理装置及び映像処理方法 Download PDF

Info

Publication number
WO2007013238A1
WO2007013238A1 PCT/JP2006/312258 JP2006312258W WO2007013238A1 WO 2007013238 A1 WO2007013238 A1 WO 2007013238A1 JP 2006312258 W JP2006312258 W JP 2006312258W WO 2007013238 A1 WO2007013238 A1 WO 2007013238A1
Authority
WO
WIPO (PCT)
Prior art keywords
determination
edge
frame
telop
block
Prior art date
Application number
PCT/JP2006/312258
Other languages
English (en)
French (fr)
Inventor
Makoto Kurahashi
Takeshi Nakamura
Hajime Miyasato
Original Assignee
Pioneer Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corporation filed Critical Pioneer Corporation
Priority to JP2007528374A priority Critical patent/JP4637180B2/ja
Priority to US11/996,589 priority patent/US20090040377A1/en
Publication of WO2007013238A1 publication Critical patent/WO2007013238A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Definitions

  • the present invention relates to a video processing apparatus and a video processing method for performing processing for detecting a video card telop.
  • Patent Document 1 Conventionally, for example, a technique described in Patent Document 1 has already been proposed as a technique for detecting the video signal force of such a telop.
  • a telop candidate pixel extraction unit that detects pixels whose input video power is also a telop candidate, a buffer that accumulates the detected telop candidate pixels, and a telop candidate that is accumulated in the buffer
  • a video telop detection device having a merging unit for merging images is disclosed. Then, in the telop candidate pixel extraction unit, the edge image is projected in the vertical and horizontal directions, and the edge density (projection frequency) force S is exceeded, and the region exceeding the value is selected as the telop candidate pixel to perform the edge determination. It becomes like this.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 10-304247 (paragraph numbers 0026 to 0052)
  • Patent Document 1 uses the telop part in the video after performing edge detection. Uses edge density to make an edge determination. However, since the edge density actually decreases as the size of the telop character increases, the edge density does not increase so high that the telop can be distinguished from the surrounding area. For this reason, in the case of a telop with a large character, it is difficult to accurately determine an edge, and as a result, the telop detection accuracy is lowered.
  • An object of the present invention is to provide a video processing device and a video processing method capable of improving the detection accuracy of a telop included in a video.
  • the invention according to claim 1 is a video processing apparatus that performs a processing for detecting the top of each frame of a video signal, wherein one of the frames is in a previous stage.
  • a multi-stage edge determination means for performing a determination of a plurality of stages related to the edge while performing a determination of the next stage based on a determination standard different from the determination standard.
  • the invention according to claim 12 is a video processing method for performing a telop detection process for each frame of a video signal, wherein the previous stage determination is performed for one of the frames.
  • the judgment of the next stage is performed based on a judgment standard different from the judgment standard, and the judgment is made at a plurality of stages related to the edge.
  • FIG. 1 is a front view showing a schematic external structure of an image recording / reproducing apparatus to which the present invention is applied.
  • FIG. 2 is a functional block diagram showing an overall functional configuration of the image recording / reproducing apparatus shown in FIG. 1.
  • FIG. 3 is a functional block diagram showing an overall functional configuration of a video processing apparatus according to an embodiment of the present invention.
  • FIG. 4 is a flowchart showing a processing procedure executed by each functional unit of the video processing apparatus shown in FIG.
  • FIG. 5 is a flowchart showing a detailed procedure of step S100 in FIG. 4 executed by the two-stage edge determination unit.
  • FIG. 7 is a flowchart showing a detailed procedure of the determination in step S150 in FIG. 5 performed by the two-stage edge determination unit.
  • FIG. 8 is an explanatory diagram schematically showing the behavior of an actual example of two-stage edge determination.
  • FIG. 9 is a flowchart showing a detailed procedure of step S 200 in FIG. 4 executed by the frame telop determination unit.
  • FIG. 11 is a flowchart showing a detailed procedure of flat area detection in step S220 in FIG. 9 executed by the frame telop determination unit.
  • FIG. 12 is a diagram illustrating an example of flat area information.
  • FIG. 13 is a flowchart showing a detailed procedure of telop row determination in step S240 in FIG. 9 executed by the frame telop determination unit.
  • FIG. 14 is a flowchart showing a detailed procedure for determining the presence of a telop in step S260 in FIG. 9 executed by the frame telop determination unit.
  • FIG. 15 is a flowchart showing the detailed procedure of step S100A, which is executed by the two-stage edge determination unit for a modified example in which the alignment determination is not performed.
  • FIG. 16 is a functional block diagram showing an overall functional configuration of an image recording / reproducing apparatus according to a modification using data characteristics based on MPEG.
  • FIG. 17 is a functional block diagram showing a detailed functional configuration of the MPEG encoder processing unit and the MPEG decoder processing unit shown in FIG.
  • FIG. 18 is a functional block diagram showing the overall functional configuration of the video processing device.
  • FIG. 19 is a flowchart showing a processing procedure executed by each functional unit of the video processing apparatus shown in FIG.
  • FIG. 20 is a flowchart showing a detailed procedure of step S100A in FIG. 19 executed by the two-stage edge determining unit. Explanation of symbols
  • the video processing apparatus is applied to an image recording / reproducing apparatus (V, so-called DVD recorder) configured to be capable of recording / reproducing a DVD.
  • V image recording / reproducing apparatus
  • FIG. 1 is a front view showing a schematic external structure of the image recording / reproducing apparatus 1.
  • the image recording / reproducing apparatus 1 has a front panel la.
  • the front panel la has a function key for inputting various operation commands, an operation unit 25 having a multi-dial, and the like, and an image recording / reproducing apparatus.
  • a display unit 26 is also provided which also has a liquid crystal isotropic power for displaying the operation state of the playback device 1 as text or image data.
  • the operation unit 25 has a function key 25a for selecting an execution mode (for example, a recording mode, a playback mode, a TV reception mode, an edit mode, etc.) of the image recording / playback apparatus 1 and the execution key selected by the function key 25a.
  • the display unit 26 displays text data composed of short words such as English and katakana and image data such as symbols, graphs and indicators.
  • FIG. 2 is a functional block diagram showing the overall functional configuration of the image recording / reproducing apparatus 1.
  • the image recording / reproducing apparatus 1 is roughly divided into a recording apparatus side for recording content information on the optical disk 200 and an optical disk (for example, a writable DVD-R, DVD-RW, DVD- RAM, etc.) It is functionally separated from the playback device side that plays back content information from 200, and further, the system control unit 21 that controls the entire image recording and playback device 1 and the video processing of this embodiment that performs telop detection Device 100.
  • an optical disk for example, a writable DVD-R, DVD-RW, DVD- RAM, etc.
  • the recording device side of the image recording / reproducing device 1 receives a TV (television) radio wave via an antenna and outputs a video signal and an audio signal, respectively, and the external input terminals INTP and INTS.
  • Video input and audio input and video output and audio output from TV receiver 50 Switches 10 and 11, respectively, and the video signals and audio signals from these switches 10 and 11 are AZD-converted AZD converters 12 and 13, respectively.
  • the video encoder processing unit 14 and the audio encoder processing unit 15 for encoding the video signals and the audio signals of these AZD converters 12 and 13 are encoded, and the video encoder processing unit 14 and the audio encoder processing unit 15 are encoded.
  • the reproducing apparatus side of the image recording / reproducing apparatus 1 irradiates the optical disk 200 with a laser beam for reading data, which is shared with the recording apparatus side, and receives the reflected light from the optical disk 200 and the like.
  • the video output from the video decoder processing unit 34 or AZD converter 12 supplied via 30 is DZA converted for the digital output.
  • Analog video output and analog audio output from DZ A converters 32 and 33 via external output terminals EXTP and EXTS are output from display devices such as CRT, plasma display, liquid crystal display, etc. (not shown) and speakers, respectively. Is output.
  • the switch 42 is switched according to the switch control signal Ssw3 from the system control unit 21 so that it can be checked by video output and audio output whether or not the video signal and the audio signal are correctly recorded. It is summer.
  • the remote control light receiving unit 41 receives various command signals from the remote control 40 provided with the apparatus main body force separated, and the received command signals are input to the system control unit 21.
  • various command signals input from the operation unit 25 are also input to the system control unit 21.
  • the system control unit 21 performs various operation command signals input from the remote controller 40 or the operation unit 25 according to a preset computer program.
  • the entire image recording and playback device 1 is controlled according to the conditions.
  • the system control unit 21 is connected to a memory unit 22 that stores various data necessary for control, for example, RAM.
  • the image recording / reproducing apparatus 1 can record the video signal and the audio signal input from the TV receiver 50 and the external input terminals INTP and INTS on the optical disc 200. Furthermore, the optical disc The video signal and audio signal recorded in 200 can be output and output to the outside via the external output terminals EXTP and EXTS terminals.
  • the video processing apparatus 100 converts the video signal (video content) input from the external input terminal INTP of the video recording apparatus 1 or the TV receiver 50 after AZD conversion by the A / D converter 12 (in other words, (In a state before encoding by the video encoder processing unit 14) or a video signal reproduced from the optical disc 200 is input in a decoded state from the video decoder processing unit 34, and the video signal included in the input video signal is input. Can be detected. A signal related to the detected telop information can be input to the system control unit 21 and recorded together with the video signal and the audio signal on the optical disc 200, and can also be directly output to the outside from the telop information output terminal EXTT. ing.
  • FIG. 3 is a functional block diagram showing the overall functional configuration of the video processing apparatus 100.
  • a video processing device (telop detection device) 100 inputs video content from the AZD converter 12 or the video decoder processing unit 34 of the video recording device 1, and starts from the start along the time axis of the video content. Extract frames sequentially to the end and output image data of each frame (however, not all frames of the video source are processed)
  • the processing frame extraction unit 101 and the image data extracted by the processing frame extraction unit 101 perform edge detection on the luminance image and use a threshold to determine the binary value.
  • the two-step edge determination unit 103 multi-step edge determination method that generates an edge region matrix that represents the candidate region that can be seen, and the previous frame force also disappears over the current frame.
  • Edge erasure determination unit 104 that determines whether there is a possibility of force, and a frame telop determination unit that determines whether the area indicated by the telop area candidate determined by edge erasure unit 104 actually includes a telop in the previous frame.
  • 105 flatness determination means
  • post-processing unit 106 that discards unnecessary data after processing, and each block in the frame immediately before Force that is determined as an edge block in the frame
  • a edge blocks hysteresis counter 108 for holding or continued to be judged as an edge area over much of the past.
  • FIG. 4 is a flowchart showing a processing procedure executed by each functional unit of video processing apparatus 100 shown in FIG.
  • a predetermined initial value (1 in this example) is assigned to each block element of the edge block history counter 108 to be initialized.
  • step S20 the processing frame extraction unit 101 determines whether or not there is a subsequent frame. This determination is satisfied when the video recording device 1 side input also begins to enter the content, and the subsequent loop from step S30 to step S70 is entered, and the input video content continues. Return to step S20 and repeat the process of this loop. When the video content of the video recording apparatus 1 side is completed, the determination in step S20 is not satisfied, and the entire process is terminated.
  • step S30 the processing frame extraction unit 101 extracts a frame to be processed next from the video content input as described above, and outputs the image data of the frame to the preprocessing unit 102. It is desirable that the image data at this time can handle luminance information independently as in the YUV format.
  • step S40 the preprocessing unit 102 extracts edges from the image data of the processing target frame extracted and input in step S30.
  • Edge extraction is performed by a known method using a filter such as Laplacian or Roberts for the luminance component.
  • a filter such as Laplacian or Roberts for the luminance component.
  • pixels whose absolute value is greater than or equal to the threshold value are set to “1”.
  • a binary image with “0” other than this is generated and stored in the frame memory 107.
  • the binarized edge image of the past frame processed as described above is left in the frame memory 107, and the preprocessing unit 102 is held in the frame memory 107, and Refer to the binary edge image of the frame (the number of frames is arbitrary) processed at the past time (the number of past frames to be referred to may be arbitrarily determined). Then, the edge appears in common in all of the binary edge image of this time and the past binary edge image (the value becomes “1” in common! ) Generate the latest still edge image with the pixel set to “1” and the other pixels set to “0”. The generated latest still edge image is input to the frame memory 107 and held.
  • step S100 the process proceeds to step S100, and the two-stage edge determination unit 103 performs edge determination in two stages.
  • edge judgment is performed on a block basis using a two-stage scale of small blocks and large blocks, and the conformity judgment result of each large block is output as an edge region matrix. To do.
  • FIG. 5 is a flowchart showing the detailed procedure of step S 100 executed by the two-stage edge determination unit 103.
  • step S105 as an initial setting, for example, the entire image is set to 8 pixels
  • the entire screen is divided into such large blocks. However, depending on the size of the large block, there may be a case where the large block cannot be spread over the entire image without any gaps (divisible! / ⁇ ). In this case, the edge part of the screen is excluded from the telop detection and may not be included in any large block! /, And some small blocks may be included in multiple large blocks. In other words, the large blocks may be set so that the large blocks partially overlap each other.
  • an edge small block matrix into which a small block determination result is written and an edge region matrix into which a large block determination result is written are prepared, and each element is initialized with "0". Also, set the attention position of the small block and large block at the upper left corner of the screen.
  • step S110 it is determined whether there is an unprocessed small block. At first, only the unprocessed small block is satisfied, so this determination is satisfied, and the loop from step S115 to step S135 is repeated until all small blocks are processed and there are no unprocessed small blocks. Returning from step S135 to step S110, the processing of this loop is repeated.
  • step S115 edge detection is performed in units of small blocks based on the input image. For each small block described above, count the number of edges in the small block. That is, the number of pixels having the value “1” in the still edge image generated in step S40 is counted.
  • step S120 it is determined whether or not the number of pixels in the small block (number of edges) counted in step S115 is larger than the threshold value Thrl. If it is larger than the threshold value Thrl, the judgment is satisfied and the small block is regarded as a small block with many edges (hereinafter referred to as “edge small block” as appropriate). Write “1” to the position of the small block in the block matrix. If it is less than or equal to the threshold value Thrl, the determination in step S120 is not satisfied and the process moves to step S130, and “0” is written in the position of the small block in the edge small block matrix. Note that it is sufficient to set an appropriate value for the threshold value Thrl in advance. After moving the target (attention position) to the block, return to step S110 and repeat the same procedure.
  • step S110 The loop from step S110 to step S135 is repeated as described above.
  • step S110 the determination in step S110 is satisfied, and step S Move to 140.
  • step S 140 it is determined whether there is an unprocessed large block. This decision is satisfied because there are only unprocessed large blocks at the beginning, and the subsequent loop from step S150 to step S195 is entered. All large blocks are processed and unprocessed large blocks are Until no more, the process returns from step S195 to step S140 to repeat this loop.
  • step S150 “order determination” is performed for each large block based on the edge small block matrix.
  • Fig. 6 (a) and Fig. 6 (b) illustrate this concept of judgment (determination concept). It is an explanatory diagram conceptually showing one large block and many small blocks inside it (64 in this example). Black small blocks indicate the edge small blocks, and white small blocks indicate other small blocks.
  • the number of large edge blocks in each of the illustrated large blocks is eight. Therefore, if the determination of whether a large block is an edge block is based only on the number of internal small edge blocks, these two evaluations are equivalent.
  • the small edge blocks in Fig. 6 (a) are connected in a line, and the small edge blocks are scattered (b). For example, the possibility of being a part of the telop is high.
  • the large block of the mode as shown in FIG. 6 (a) is higher than the large block of the mode as shown in FIG. 6 (b).
  • Execute “Check Judgment” of the block Specifically, the evaluation value of the edge small block likeness of the large block is determined by the distribution of the small edge block in the large block. That is, a higher evaluation value is given to each small block in a large block if it is a part of a block of edge small blocks that are linearly connected longer than the small block force. The sum of the evaluation values for each small block is used as the evaluation value for the large block.
  • FIG. 7 is a flowchart showing a detailed procedure of the determination in step S150 performed by the two-stage edge determination unit 103 based on the basic principle described above.
  • step S152 it is determined whether there is an unprocessed small block.
  • step S153 Since only the unprocessed small block is initially satisfied, this determination is satisfied, and the process enters the loop from step S153 to step S165, until all the small blocks are processed and there are no unprocessed small blocks. The process returns from step S165 to step S152 to repeat this loop.
  • step S153 whether or not the small block to be evaluated is an edge small block (the position of the small block in the edge small block matrix in step S125 or step S130 described above). Whether or not “1” is written in). If it is not an edge small block, the determination is not satisfied and the process proceeds to step S159 described later, and if it is a force edge small block that advances the evaluation target to the next small block, the determination is satisfied, and the process proceeds to the next step S154.
  • edge small block the position of the small block in the edge small block matrix in step S125 or step S130 described above. Whether or not “1” is written in). If it is not an edge small block, the determination is not satisfied and the process proceeds to step S159 described later, and if it is a force edge small block that advances the evaluation target to the next small block, the determination is satisfied, and the process proceeds to the next step S154.
  • step S154 the attention point is set as the evaluation target small block. Thereafter, the process proceeds to step S155, and an initial value of 1 is substituted into the variable s for storing the evaluation value of the current evaluation target small block.
  • step S161 After that, in step S161, at this point in time, it is considered that there are blocks connected in a line, and a predetermined value (eg, 1) is added to the current evaluation value s, and the process proceeds to step S162.
  • a predetermined value eg, 1
  • step S163 determines whether the number m of adjacent edge small blocks is 2 while repeating such processing. If the number m of adjacent edge small blocks is not 2 while repeating such processing, the determination in step S163 is not satisfied, and the process proceeds to step S164, where n (edge that touches the evaluation target edge small block). After subtracting 1 from the number of small blocks, the attention point is returned to the evaluation target block again in step S165, and the same procedure is repeated returning to step S157.
  • step S157 the determination in step S157 is satisfied, and the process proceeds to step S160.
  • the target point is transferred to the adjacent edge small block on the side where the target point has not been moved. Thereafter, the same processing is performed.
  • step S158 the determination in step S157 is not satisfied, and the process proceeds to step S158 as described above, and the evaluation value s at this time is not increased and the value s is added to the current stored value t to be stepped.
  • step S159 the evaluation target is advanced to the next small block.
  • step S153 to step S165 The loop from step S153 to step S165 is repeated as described above.
  • the determination in step S152 is not satisfied, and this flow is repeated. finish.
  • the evaluation value s is determined for all the small blocks in the target large block, the sum of the evaluation values s of each small block is sequentially added, and the final integrated value is the above value.
  • the stored value t is used as the evaluation value for the large block, and the judgment process is completed.
  • step S 180 it is determined whether or not the evaluation value (stored value) t calculated by the alignment determination in step S 150 is greater than the threshold value Thr 2. If the threshold is greater than the threshold Thr2, the decision is satisfied and the large block is regarded as an edge large block whose internal edge status is telop-like (relatively likely to be a telop). Moving to step S185, “1” is written in the position of the large block of the edge area matrix. If the value is equal to or smaller than the value Thr2, the determination in step S180 is not satisfied, the process proceeds to step S190, and “0” is written in the position of the large block in the edge region matrix.
  • step S140 After moving the target (attention position) to the block, return to step S140 and repeat the same procedure. [0060] The loop from step S140 to step SI95 is repeated as described above. When all large blocks have been processed and there are no unprocessed large blocks, the determination in step S140 is not satisfied. The step edge determination process ends.
  • FIG. 8 schematically shows the behavior when the two-step edge determination is performed on a screen on which a relatively large character “A” is displayed as an actual example of the two-step edge determination described above. It is explanatory drawing.
  • the entire image (the entire image including the portion shown in black in FIG. 8) is divided into a large number of small blocks, and it is possible to determine whether many edges are generated in each block.
  • the small block (represented by a small rectangle in FIG. 8) corresponding to the edge portion of the character is an edge small block including many edges.
  • the large block in FIG. What is represented by a rectangle is a large edge block that contains more than a specified number of small edge blocks (the proportion of small edge blocks is relatively high V).
  • step S50 the edge loss determination unit 104 determines the previous frame force from the occurrence state of the area that was included in the edge area in the previously processed frame but was not included in the edge area. To determine whether the telop may have disappeared. This determination is made, for example, by determining whether the number of large blocks which are large edge blocks in the previous frame and not large edge blocks in the current frame is equal to or greater than a predetermined value.
  • step S50 If it is less than the threshold! /, The determination in step S50 is not satisfied, the process proceeds to step S70, the target is moved to the next frame, the process returns to step S20, and the same procedure is repeated. If it is equal to or greater than the threshold value, the determination in step S50 is satisfied and it is considered that there is a possibility of a telop, and the matrix of the lost large edge block is output to the frame telop determination unit 105 as a telop area candidate. Then, the process proceeds to step S200.
  • the current frame number is stored in the edge block history counter 108 as the telop display start time.
  • the result of edge area judgment for each block The value of the edge block history counter 108 is updated based on the result and the current value of the edge block history counter 108.
  • step S200 frame telop determination unit 105 performs frame telop determination for determining whether a telop is displayed in a certain frame.
  • FIG. 9 is a flowchart showing the detailed procedure of step S200 executed by the frame telop determination unit 105.
  • step S210 based on the detection result of the large edge block in the two-step edge determination in step S100, the frame telop determination target is determined for each row of pixels of the large edge block.
  • the determination range for determining the area to be determined is determined.
  • an area where a large block of edges detected by the above two-step edge determination exists on a straight line in the horizontal direction is a processing target for flatness determination. In this example, only the rows in the horizontal direction are processed, but the same processing may be performed in the vertical direction!
  • Fig. 10 is an explanatory diagram conceptually showing the concept (basic principle) of this flat area detection.
  • FIG. 10 in this example, a telop of "Ah" in one bright color is displayed on a dark background.
  • line (A) of the pixels on the character, and graphing the luminance value of each pixel in this line it will look like (B), and (b), (d), (f), (h), (j) and five flat portions of luminance are generated.
  • the backgrounds other than the characters are uniform, the six background parts (a), (c), (e), (g), (i), and (k) are also flat. In this way, the portion where the luminance is flat in the row of pixels is extracted as the flat region as the flat region.
  • FIG. 11 is a flowchart showing a detailed procedure of flat area detection in step S220 executed by frame telop determination unit 105.
  • step S221 a predetermined initial setting is performed in step S221.
  • the determination target row is set to, for example, the upper end row.
  • step S222 it is determined whether or not there is an unprocessed line. Initially, only the unprocessed line is satisfied with this determination, and the process goes to the loop from step S223 to step S234, until all the lines are processed and there are no unprocessed lines. Return from step S234 to step S222 to repeat the processing of this loop.
  • step S223 first, the attention point is set at the left end of the line. Thereafter, the process proceeds to step S224, where the current state is set to “out of flat region” as an initial setting in each row determination. Thereafter, the process proceeds to step S225.
  • step S225 it is determined whether or not the current state is outside the flat region. At first, it is set in step S224 that it is out of the flat area !, so this determination is satisfied, and the routine goes to step S226.
  • step S226 it is determined whether or not the periphery of the pixel currently focused on is flat.
  • the determination method at this time suffices to determine that the distribution is flat when the variance of the luminance value is equal to or less than a predetermined value in a pixel range having a predetermined width centered on the target pixel. Or, if the difference between the maximum value and the minimum value of the brightness value is within the specified range, it may be determined to be flat. If the periphery of the target pixel is not flat, the determination is not satisfied and the routine goes to Step S229 described later.
  • step S226 If the periphery of the target pixel is flat, the determination in step S226 is satisfied, the current target pixel is regarded as the start point of the flat region, the process proceeds to step S227, and the state is within the flat region. Further, in step S228, the position is stored as the starting point of the flat region, and the process proceeds to step S229.
  • step S225 determines whether the current state is within the flat region. If it is determined in step S225 that the current state is within the flat region, the determination is not satisfied, and the process proceeds to step S231, where it is determined whether the periphery of the currently focused pixel is not flat.
  • the determination method at this time may be the same method as in step S226. If the area around the target pixel is flat, the determination is not satisfied, and the routine goes to Step S229 described later.
  • step S231 determines whether the periphery of the target pixel is flat. If the periphery of the target pixel is not flat, the determination in step S231 is satisfied, the current target pixel is regarded as the end point of the flat region, and the process proceeds to step S232 to make the state out of the flat region. At the same time, the position is stored as the end point of the flat region in step S233, and the average luminance value of the pixels included in the flat region that has just ended is extracted and stored as the representative luminance value of the flat region. Move to 229.
  • Step S229 it is determined whether or not the current attention point is the right end of the line. At first, the right end is still reached, and this judgment is not satisfied. Move the pixel, and return to step S225 to repeat the same procedure.
  • step S229 the determination in step S229 is satisfied, the process proceeds to step S234, the target is moved to the next line, the process returns to step S222, and the same procedure is repeated.
  • step S222 The loop from step S222 to step S234 is repeated as described above.
  • the determination in step S222 is not satisfied, and this flow ends. To do.
  • flat area information including the number of areas with flat luminance included in all rows to be processed, the start and end points of all areas, and representative luminance values is generated.
  • FIG. 12 shows an example of such flat area information, and in this example, corresponding to FIG. 10 described above, (a), (b), (c), ( d), (e), (f), (g), (h), (i), (j), (k) corresponding to each flat region data.
  • a flat area When a flat area is detected as described above, it is examined whether or not a sudden increase or decrease in luminance value corresponding to an edge occurs at both ends of the area. Only in this case, the flat area may be enabled. In addition, before performing the flat area determination processing, a noise removal filter may be applied to the luminance value column in this row to facilitate detection of a flat area having a slight fluctuation in the luminance value.
  • step S220 when the flat area detection process in step S220 is completed as described above, the process proceeds to step S240, and the flat area appears for each row where the flatness is detected in step S220.
  • the state force also performs a ticker row judgment to determine whether the row seems to contain a telop.
  • FIG. 13 is a flowchart showing a detailed procedure of the telop row determination in step S240 executed by the frame telop determination unit 105.
  • step S241 a predetermined initial setting is performed. For example, the processing start line is set to the upper line.
  • step S242 it is determined whether or not there is an unprocessed line. Initially only unprocessed rows are satisfied, so this decision is satisfied and the subsequent steps Step S243 to step S249 are entered into the loop, until all lines have been processed and there are no more unprocessed lines, the process returns from step S248 to step S242 to repeat this loop.
  • step S243 the flat areas detected in a certain row are grouped according to the proximity of the representative luminance value.
  • the range of the representative luminance value may be set as appropriate depending on the type of the target content and the use of the operator.
  • step S244 it is determined whether there is an unprocessed group. Initially, since any group grouped in step S243 is unprocessed, this determination is satisfied, and the routine goes to step S245.
  • step S245 paying attention to each group, the likelihood of telop (whether the possibility of telop is relatively large) is determined.
  • the determination at this time is based on the number of flat regions, the occupied width, etc., for example, the width occupied by the flat region of the group in the row is within a certain range, the number of flat regions is a certain number or more, etc. Is a judgment condition.
  • the width condition may be adjusted depending on the number of flat regions.
  • the position of the flat region may be used as a condition.
  • the group is more likely to be the background than the telop, so the group does not determine that the line is a telop line candidate. Can be.
  • step S246 If the row does not look like a telop (the possibility of being a telop is relatively small! /,), The determination in step S246 is not satisfied, and the procedure returns to step S244 to repeat the same procedure, and the next flat region Proceed to group judgment. At this time, when step S244 ⁇ step S245 ⁇ step S2 46 is repeated, any flat area group will be adopted, and if there is no unprocessed group at last as if it is a telop, the determination in step S244 is not satisfied and the process goes to step S249. If it is determined that the line is not a telop line candidate, the process proceeds to step S248, the target is moved to the next line, the process returns to step S242, and the same procedure is repeated.
  • step S246 determines whether the line is a telop, etc. (the possibility that it is a telop is relatively large).
  • step S246 determines whether the line is a telop, etc. (the possibility that it is a telop is relatively large).
  • step S246 determines whether the line is a telop is relatively large.
  • step S248 the determination in step S246 is satisfied, the process proceeds to step S247, and the line is set as a telop line candidate.
  • step S248 the target is moved to the next line, the process returns to step S242, and the same procedure is repeated.
  • step S242 As described above, the loop from step S242 to step S249 is repeated.
  • the determination in step S242 is not satisfied, and this flow is executed. finish. As a result, the telop-likeness of the flat area group included in all the rows to be processed is determined, and the setting of telop row candidates is completed.
  • step S240 when the telop line determination process in step S240 is completed as described above, the process proceeds to step S260, and the telop line candidate state power set in step S240 is also displayed in this frame.
  • a telop presence determination is performed to determine whether or not
  • FIG. 14 is a flowchart showing a detailed procedure of the telop presence determination in step S260 executed by the frame telop determination unit 105.
  • step S261 predetermined initial settings are made, and a variable V for evaluating the presence of a telop in a frame and a variable r for counting continuation of telop row candidates are set to an initial value 0 (0 is set to 0). substitute). Further, the processing start line is set to the upper line, for example.
  • step S262 it is determined whether there is an unprocessed line. Initially only unprocessed rows Force this determination is satisfied, and then the loop from step S263 to step S267 enters the loop from step S265 until all rows are processed and there are no unprocessed rows. Returning to S262, the processing of this loop is repeated.
  • step S263 it is determined whether or not the currently focused line! / Is a telop line candidate set in step S240. If it is a telop row candidate, the determination in step S263 is satisfied, and in step S264, a predetermined value (for example, 1) is added to the variable r for counting the continuation of telop row candidates, and the flow advances to step S265. Move.
  • a predetermined value for example, 1
  • step S265 the target is moved to the next line, the process returns to step S262, and the same procedure is repeated. As described above, the loop from step S262 to step S267 is repeated, and when all the lines have been processed and there are no unprocessed lines, the determination in step S262 is not satisfied, and the process proceeds to step S268. [0099] In step S268, it is determined whether or not the evaluation value V, which is an integrated value of the variable r that counts the continuation of the telop row candidates, is greater than or equal to a predetermined threshold value. If it is equal to or greater than the threshold value, the determination is satisfied and it is considered that a telop exists in this frame.
  • V which is an integrated value of the variable r that counts the continuation of the telop row candidates
  • step S269 the corresponding telop display information is generated and stored in the frame memory 107, and also to the post-processing unit 106. Output and end this flow. On the other hand, if it is less than the threshold value, the determination is not satisfied and it is considered that no telop exists in this frame, and this flow is terminated.
  • step S60 when the frame telop determination is completed as described above, the process proceeds to step S60, and the post-processing unit 106 performs post-processing of each of the processes so far. For example, if a telop is detected by the frame telop determination in step S200 and the telop display information remains in the frame memory 107, the frame in which the telop appears is determined from the value of the edge block history counter 108 in the area where the telop is detected. Calculate the number. Then, the telop display start frame number, the lost frame (current frame number), and the display position of the telop are output as the telop information signal to the above-described external output terminal EXTT or to the system control unit 21.
  • the value of the edge block history counter 108 in the area where the large edge block has disappeared is initialized. Further, the previous frame image and edge image data and the current frame telop display information, which are stored in the frame memory 107 and become unnecessary after the processing of the current frame, are discarded.
  • step S60 When step S60 is completed, the process proceeds to step S70, the target is moved to the next frame, the process returns to step S20, and the same procedure is repeated.
  • step S105 of the control flow executed by the two-stage edge determining unit 103 shown in Fig. 5 divides one frame into a plurality of large blocks and each large block as described in the claims. Corresponds to a division setting means for further dividing into a plurality of small blocks.
  • Steps S110 to S135 correspond to primary determination means that performs primary determination according to the first determination criterion related to the edge for each of the plurality of small blocks, and the first determination that performs the first determination is performed. It also corresponds to a determination means.
  • Step S 140 to Step S 195 Force For each of a plurality of large blocks, a small program whose determination is satisfied by the primary determination means is used. This corresponds to secondary determination means for performing secondary determination in accordance with a second determination criterion related to the presence of a hook, and also corresponds to second determination means for performing second determination.
  • step S243 shown in the flow shown in FIG. 13 executed by the frame telop determination unit 105 is a group for grouping a plurality of flat regions included in one frame according to the proximity of the representative luminance value. Corresponds to the means.
  • the video processing apparatus 100 of the present embodiment when a telop is present in the frame, it corresponds to the occurrence of an edge at the border (outer edge) of characters or the like constituting the telop.
  • Edge detection is performed in the preprocessing executed in 102, and then it is determined whether or not the detected edge constitutes a telop.
  • the two-stage edge determination unit 103 performs separate determination criteria (in this example, whether or not the small block is a small edge block and whether or not the small edge block is present) in a plurality of stages (in this example, two stages). Judgment related to the edge is made based on whether or not the large block including is an edge large block.
  • edge determination at a high depth can be performed, and edge determination with higher accuracy can be performed.
  • edge determination at a high depth
  • edge determination with higher accuracy can be performed.
  • it is possible to reliably detect telops in a video with high accuracy by improving the accuracy of edge determination itself without improving the telop detection accuracy by taking into account information related to other determination elements different from edges.
  • the edge is changed (along) according to the outline (outer edge) shape of a character or the like constituting the telop.
  • the next stage in the two-stage edge determination unit 103 make the above judgment and make the above-mentioned determination! ⁇ Judgment is made according to the approximate linear continuity of the location of the small edge block in the large block to be judged that satisfies the judgment of the previous step.
  • telops that have a relatively small amount of edges, including the case of large text telops, for example, unlike the conventional technology that simply determines the size of the edge density in one step. Is particularly effective because it can reduce false detections other than telop.
  • edges corresponding to the edges of the text are relatively dense and the edge density is likely to be higher than in areas other than the text. It is also effective to detect. However, when the size of the text is large, the edges are less dense than the small text telop, so it is difficult to detect only by the edge density. If it is forced to detect, the edge density threshold for detection must be reduced, and the possibility of false detection increases as it becomes difficult to distinguish from parts other than telop.
  • the inside of the border (outer edge) of characters or the like constituting the telop is usually a region where pixels of uniform brightness or pigment are continuous.
  • edge determination in the two-stage edge determination unit 103 such as A frame telop determination unit 105 detects a flat region in which pixels having substantially the same luminance or color difference compared to the surroundings in one frame are detected, and further makes a determination based on this.
  • edge determination in the two-stage edge determination unit 103 such as A frame telop determination unit 105 detects a flat region in which pixels having substantially the same luminance or color difference compared to the surroundings in one frame are detected, and further makes a determination based on this.
  • the frame telop determination unit 105 first approaches the representative luminance value in step S243 in view of the fact that the background is a region where pixels of uniform luminance or pigment are continuous.
  • the flat areas are grouped accordingly.
  • the luminance value differs greatly between the telop and the background.
  • a plurality of flat areas constituting the telop are grouped together (for example, in the example of FIG. 10).
  • a plurality of flat regions constituting the background are grouped together (for example, (a) (c ) (e) (g) (i) (k)).
  • the frame telop determination unit 105 performs the determination according to the characteristic value in step S245 and step S246 for each group, so that the flat area dull constituting the telop as described above is converted into the flat structuring the background. It can be recognized separately from the area group. As a result, it is possible to detect the telop with higher accuracy excluding the background.
  • FIG. 15 is a flowchart showing a detailed procedure of step S100A corresponding to step S100 in the above-described embodiment, which is executed by the two-stage edge determination unit 103 in such a modification. Steps equivalent to those in FIG. 5 are denoted by the same reference numerals, and description thereof will be simplified or omitted as appropriate.
  • FIG. 15 differs from FIG. 5 described above in that step S150A and step S180A are provided instead of step S150 and step S180. That is, step S105, step S110, step S115 to step S135, and step S140 are the same as those in FIG. 5 described above, and when the determination in step S140 is satisfied, the process proceeds to step S150A.
  • step S150A the number of target large blocks that are determined to be small edge blocks in step S125 is counted. Thereafter, the process proceeds to step S180A, and it is determined whether or not the number of small edge blocks counted in step S150A is larger than the threshold value Thr2a. If the threshold is greater than the threshold value Thr2a, the determination is satisfied and the large block has a relatively large number of small edge blocks (for example, two or three blocks need not be larger than the number of non-edge small blocks). The block is considered to be a large edge block (which may be one), and the process proceeds to step S185 similar to FIG.
  • step S180A determines whether the large block is considered not to be the edge large block. If it is equal to or less than the threshold value Thr2a, the determination in step S180A is not satisfied and the large block is considered not to be the edge large block, and the process proceeds to step S190 similar to FIG. Note that the threshold Thr2a only needs to be set to an appropriate value.
  • steps S1 40 to S195 of the control flow executed by the two-stage edge determination unit 103 shown in FIG. 15 are used for primary determination for each of a plurality of large blocks described in each claim.
  • an effect of improving detection accuracy of edge determination by performing determination based on different determination criteria in a plurality of stages is obtained.
  • edges are gathered locally at the previous stage, and the small block is determined to be a small edge block, and then the determination is made by narrowing down whether the large block including the small edge block is a large edge block.
  • this is particularly effective because false detection other than telops can be reduced when trying to detect telops with a relatively small amount of edges, including, for example, telops with large characters.
  • the edge amount (or edge density) threshold is used to determine the edge small block by judging the value, while the number of edge small blocks (or percentage) indicating how many edge small blocks exist in each large block.
  • the value if it is relatively small, the value. In this way, compared to the simple determination of density with a low threshold value as described above, the amount of edge and the value are large, so the number of small blocks is small and the value is small while reducing false detection. Therefore, it is possible to detect the telop without leakage.
  • FIG. 16 is a functional block diagram showing the overall functional configuration of the image recording / reproducing apparatus 1 A according to this modification, and corresponds to FIG. 2 of the above embodiment.
  • an MPEG encoder processing unit 14 A instead of the video encoder processing unit 14 and the video decoder processing unit 34 of the video recording / reproducing apparatus 1 in FIG. 2, an MPEG encoder processing unit 14 A, MPE
  • a G decoder processing unit 34A is provided, and a video processing device 100A is provided instead of the video processing device 100.
  • Fig. 17 (a) is a functional block diagram showing the detailed functional configuration of the MPEG encoder processing unit 14A
  • Fig. 17 (b) shows the detailed functional configuration of the MPEG decoder processing unit 34A. It is a block diagram.
  • the MPEG encoder processing unit 14A includes a Karo arithmetic unit 14Aa, a DCT (Dispersed Cosine Transform) unit 14Ab, a quantization unit 14Ac, an inverse quantization unit 14Ad, and a variable length code. 16Ae, an inverse DCT unit 14Af, a motion detection unit 14Ag, a motion compensation prediction unit 14Ah, and a rate control unit 14Aj.
  • the digital information signal Sd is received from the AZD converter 12 shown in FIG. When input, the compressed signal is compressed in accordance with the MPEG system based on the control signal output from the system control unit 21, and the encoded signal Sed is generated and output to the multiplexer 16.
  • FIG. 17 (a) the MPEG encoder processing unit 14A includes a Karo arithmetic unit 14Aa, a DCT (Dispersed Cosine Transform) unit 14Ab, a quantization unit 14Ac, an inverse quantization unit 14Ad, and a variable length code.
  • the MPEG decoder processing unit 34A includes a variable length decoding unit 34Aa, an inverse quantization unit 34Ab, an inverse DCT unit 34Ac, an adder 34Ad, and a motion compensation prediction unit 34Ae.
  • the video signal is subjected to decompression processing corresponding to the compression processing based on the control signal output from the system control unit 21.
  • the decompression signal So is generated and output to the DZA converter 32.
  • the video processing apparatus 100A of the present modification example uses a video signal (video content) input from the external input terminal INTP of the video recording apparatus 1A or the TV receiver 50 to encode the video signal by the MPEG encoder processing unit 14A. It is possible to detect the telop included in the input video signal by inputting it later or by inputting the video signal reproduced from the optical disc 200 from the multiplexer 36 (before decoding by the MPEG decoder processor 34A). It has become.
  • a signal related to the detected telop information can be input to the system control unit 21 and recorded on the optical disk 200 together with a video signal and an audio signal, and can also be directly output to the outside from the telop information output terminal EXTT. It has become.
  • FIG. 18 is a functional block diagram showing the overall functional configuration of the video processing apparatus 100A of the present modification, and is a diagram corresponding to FIG. 3 of the above embodiment. Parts equivalent to those in FIG. 3 are denoted by the same reference numerals, and description thereof will be simplified or omitted as appropriate.
  • the video processing device 100A differs from the video processing device 100 of the above embodiment in that the preprocessing unit 106 is omitted in connection with the fact that the input is MPEG video data. In other words, the decryption unit 109 is newly provided.
  • FIG. 19 is a flowchart showing a processing procedure executed by each functional unit of the video processing apparatus 100A shown in FIG. 18, and corresponds to FIG. In FIG. 19, as in FIG. 4, after the initial setting in step S10, while the input of the MPEG video content is continued, the determination whether there is a subsequent frame in step S20 is satisfied, Enter the loop from S3 OA to Step S70.
  • Step S30A corresponds to step S30 in FIG. 4 described above, and the processing frame extraction unit 101 extracts the data of the frame to be processed and stores it in the frame memory 107. After that, the process proceeds to step S35 newly provided, and the processing frame extracting unit 101 performs the above step.
  • the frame force extracted in step S30A is determined whether it is a frame (in other words, whether it is a P frame or B frame! /). If the frame is a P frame or a B frame, the determination is not satisfied, and the process proceeds to step S70 described later, the target is moved to the next frame, the process returns to step S20, and the same procedure is repeated. If it is an I frame, the determination at step S35 is satisfied, and the routine goes to step S100A corresponding to step S100 in the above embodiment.
  • FIG. 20 is a flowchart showing the detailed procedure of step S100A executed by the two-stage edge determination unit 103.
  • step S1 05A corresponding to step S105 in FIG. 5
  • the entire frame is divided into small blocks which are small areas.
  • one small block is an area of 8 pixels x 8 pixels corresponding to the “block” in MPEG, and this makes a pair of the MPEG block of video data and the small block in the telop detection processing a pair. 1 corresponds.
  • an edge small block matrix into which the small block determination result is written and an edge region matrix into which the large block determination result is written are prepared, and each element is initialized. Also, set the attention position of the small block and large block at the upper left corner of the screen.
  • step S110A corresponding to step S110 in FIG. 5, and it is determined whether or not an unprocessed small block exists. Since only the unprocessed small block is initially satisfied, this determination is satisfied, and the process goes to a loop from step S116 to step S135, where all the small blocks are processed and there are no unprocessed small blocks. From S135, return to step S110A to repeat this loop.
  • step S116 newly provided, for a small block, the DCT coefficient (for example, the luminance component) of the MPEG block corresponding to the small block (for example, the MPEG encoder processing unit shown in FIG. 17 (a)).
  • the telop-like evaluation value V is calculated. DCT coefficient power at this time
  • the higher the frequency the higher the weighting of the components, and the sum of the absolute values is taken as the evaluation value V.
  • step SI 17 it is determined whether or not the evaluation value V of the telop-likeness exceeds the predetermined threshold V, the threshold, and the value Thr. Since the evaluation value V and the edge amount have a strong correlation as described above (in this sense, as described above, this determination is one aspect of edge determination, and it has a broad meaning in “edge determination” in this specification. If the evaluation value V exceeds the threshold value Thr, the determination in step S117 is satisfied and the small block is regarded as the edge small block with many edges, and is the same as in FIG.
  • step S125 “1” is written in the position of the small block in the edge small block matrix. If the evaluation value V is equal to or less than the threshold value V and the value Thr, the determination in step S117 is not satisfied and the process proceeds to step S130 similar to FIG. 5 above, and ⁇ 0 '' is added to the position of the small block in the edge small block matrix. Write. Note that it is sufficient to set an appropriate value for the threshold value Thr in advance.
  • step S125 or step S130 the process proceeds to step S135 similar to FIG. 5 above, the target (position of interest) is moved to the next small block, and then the same procedure is repeated by returning to step S110A. .
  • step S110A The loop from step S110A to step S135 is repeated as described above, and when all the small blocks have been processed and there are no unprocessed small blocks, the determination in step S110 is satisfied, and FIG. Proceed to step S140 similar to. Step S140 and subsequent steps are the same as those in the above embodiment shown in FIG.
  • step S50 which is the same as in the above embodiment, and in the same manner as in the above embodiment, the frame previously processed by the edge loss determination unit 104 is processed. From the state of occurrence of the area that was included in the edge area but not included in the edge area in the current frame, it is determined whether there is a possibility that the previous frame force has disappeared during the current frame. A determination method similar to that of the above-described embodiment is sufficient.
  • step S50 the determination in step S50 is satisfied, and the flow proceeds to newly provided step S55.
  • step S55 the decoding unit 109 performs the decoding process on the previous I frame and generates at least a luminance image. Then, the edge is extracted and binarized by the absolute value threshold judgment.
  • step S55 the process proceeds to step S200 similar to FIG. Make a decision. Since the procedure after step S200 is the same as that in the above embodiment, the description thereof is omitted (note that the “static edge” in the above embodiment is replaced with the extracted “edge” and applied).
  • step S105A of the control flow executed by the two-stage edge determination unit 103 shown in Fig. 20 divides one frame into a plurality of large blocks according to the claims. This corresponds to division setting means for further dividing each large block into a plurality of small blocks.
  • step S116 and step S117 executed by the two-stage edge determination unit 103 edge detection is indirectly performed on a small block by evaluation using a DCT coefficient.
  • the small block is roughly determined (in this example, it is determined as an edge small block based on whether it is a small block containing a lot of high frequency components). After that, if the judgment is satisfied, it is possible to make a high-level edge judgment by narrowing down with another criterion (in this example, whether the large block including the small edge block is the large edge block). Therefore, edge determination can be performed with higher accuracy.
  • edge determination including secondary determination based on the primary determination in the two-stage edge determination unit 103 before the decoding key in the decoding unit 109 (see Fig. 18).
  • the processing after the edge determination it is only necessary to decode the compression-coded video signal only for the frame determined to be a telop by the edge determination. Therefore, the amount of data processing to be decoded can be reduced as compared with the case where edge determination and subsequent processing are performed by decoding all the frames of the video signal to be determined.
  • the frame to be held is an I frame in MPEG format, the capacity of the frame memory 107 can be reduced.
  • step S118 post-determination means, not shown
  • determination may be made using the presence / absence of motion compensation processing (state of motion compensation prediction unit 14Ah of MPEG encoder 14A) and its mode as parameters! For example, whether or not the macroblock performs motion compensation at each position between the I frame and the I frame is checked in advance and stored in the frame memory 107.
  • step S 100A when the I frame appears and the two-step block determination is performed in step S 100A, even if the evaluation value V is greater than the value Thr in step S 117 and the determination in step S117 is satisfied, the step S In 118, if motion compensation has been performed a predetermined number of times or more at the position of the macroblock to which the block corresponding to the small block belongs, the determination is not satisfied and the process proceeds to step S130 instead of step S125, and the small block is reduced to the edge small. Just think of it as a block and write 0 to the position of that small block in the edge small block matrix!
  • the video processing devices 100 and 100A are the video signals input from the external input terminal INTP or the TV receiver 50 of the video recording devices 1 and 1A, or the video reproduced from the optical disc 200.
  • a playback video signal recorded on a hard disk drive or magnetic tape may be input.
  • Various servers including home servers), various computers (including peripheral devices), various portable terminals' information terminals (including mobile phones), karaoke devices, consumer game machines, and other digital images You can also input streaming video signals from products that handle the. In these cases, similar effects are obtained.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】フレーム中から検出されたエッジに対するエッジ判定の精度を向上させることで、テロップ検出精度を向上させる。 【解決手段】映像信号の各フレームのテロップの検出処理を行う映像処理装置１００において、２段階エッジ判定部１０３が、ステップＳ１０５～ステップＳ１３５で複数の小ブロックのそれぞれについてエッジに関わる第１の判定基準に応じた１次判定を行い、ステップＳ１４０～ステップＳ１９５で複数の大ブロックのそれぞれについて１次判定が満たされた小ブロックの存在に関わる第２の判定基準に応じた２次判定を行う。

Description

明 細 書
映像処理装置及び映像処理方法
技術分野
[0001] 本発明は、映像カゝらテロップを検出する処理を行う映像処理装置及び映像処理方 法に関する。
背景技術
[0002] 近年、放送番組の視覚的効果として映像中にテロップを挿入する手法が多用され ている。テロップは、番組の中で特に強調したい内容や重要と思われる事項を文字 等で表示し、番組視聴者の内容の理解の一助とするものである。
[0003] このようなテロップを映像信号力 検出する技術として、従来、例えば特許文献 1に 記載のものが既に提唱されている。
[0004] 特許文献 1に記載の従来技術では、入力映像力もテロップ候補となる画素を検出 するテロップ候補画素抽出部と、その検出したテロップ候補画素を蓄積するバッファ と、バッファに蓄積されたテロップ候補を併合する併合部とを有する映像テロップ検 出装置が開示されている。そして、テロップ候補画素抽出部において、エッジ画像を 縦横方向に投影し、エッジの密度 (投影頻度）力 Sしき 、値を越えて 、る領域をテロッ プ候補画素として選択することでエッジ判定を行うようになって 、る。
[0005] 特許文献 1：特開平 10— 304247号公報（段落番号 0026〜0052)
発明の開示
発明が解決しょうとする課題
[0006] 一般に、映像は、少しずつ異なった多数の画面を連続して表示することで動画とし て表現を行っており、この動画を構成する上記の各画面がフレームと称される。この フレームにテロップが存在するとテロップを構成する文字等の縁取り（外縁）において 必ずエッジが生じることから、テロップ検出の際にはフレーム中のエッジ検出を行った 後、その検出したエッジがテロップを構成するエッジであるかどうかを判定する（=ェ ッジ判定)。
[0007] 特許文献 1に記載の従来技術は、エッジ検出を行った後、映像中のテロップ部分で はエッジの密度が高くなることを利用して、エッジ判定を行うものである。しかしながら 、実際にはテロップの文字が大きくなるほどエッジの密度が低くなるため、ある程度以 上大きな文字のテロップになると、周囲とテロップを区別できるほどエッジの密度が高 くならない。このため、文字の大きなテロップの場合には精度のよいエッジ判定が困 難となり、結果としてテロップの検出精度が低くなる。
[0008] 本発明の目的は、映像中に含まれるテロップの検出精度を向上させることができる 映像処理装置及び映像処理方法を提供することにある。
課題を解決するための手段
[0009] 上記目的を達成するために、請求項 1記載の発明は、映像信号の各フレームのテ 口ップの検出処理を行う映像処理装置であって、一つの前記フレームについて、前 段階の判定が満たされた場合にその判定基準とは異なる判定基準で次段階の判定 を行うようにしながら、エッジに関わる複数段階の判定を行う複数段エッジ判定手段 を有することを特徴とする。
[0010] また上記目的を達成するために、請求項 12記載の発明は、映像信号の各フレーム のテロップの検出処理を行う映像処理方法であって、一つの前記フレームについて、 前段階の判定が満たされた場合にその判定基準とは異なる判定基準で次段階の判 定を行うようにしながら、エッジに関わる複数段階の判定を行うことを特徴とする。 図面の簡単な説明
[0011] [図 1]本発明の適用対象の画像記録再生装置の概略外観構造を表す正面図である
[図 2]図 1に示した画像記録再生装置の全体機能構成を表す機能ブロック図である。
[図 3]本発明の一実施形態の映像処理装置の全体機能構成を表す機能ブロック図 である。
[図 4]図 3に示した映像処理装置の各機能部が実行する処理手順を表すフローであ る。
[図 5]2段階エッジ判定部で実行する図 4中のステップ S100の詳細手順を表すフロ 一チャートである。
[図 6]ならび判定の考え方を概念的に表す説明図である。 [図 7]2段階エッジ判定部で実行する図 5中のステップ S150のならび判定の詳細手 順を表すフローチャートである。
圆 8]2段階エッジ判定の実際の具体例の挙動を概略的に表す説明図である。
[図 9]フレームテロップ判定部で実行する図 4中のステップ S 200の詳細手順を表す フローチャートである。
圆 10]平坦領域検出の考え方を概念的に表す説明図である。
[図 11]フレームテロップ判定部で実行する図 9中のステップ S220の平坦領域検出の 詳細手順を表すフローチャートである。
圆 12]平坦領域情報の一例を表す図である。
[図 13]フレームテロップ判定部で実行する図 9中のステップ S240のテロップ行判定 の詳細手順を表すフローチャートである。
[図 14]フレームテロップ判定部で実行する図 9中のステップ S260のテロップ存在判 定の詳細手順を表すフローチャートである。
[図 15]ならび判定を行わな ヽ変形例にお!ヽて 2段階エッジ判定部が実行する、ステツ プ S100Aの詳細手順を表すフローチャートである。
[図 16]MPEG方式によるデータ特性を利用する変形例による画像記録再生装置の 全体機能構成を表す機能ブロック図である。
[図 17]図 16に示した MPEGエンコーダ処理部及び MPEGデコーダ処理部の詳細 機能構成を表す機能ブロック図である。
圆 18]映像処理装置の全体機能構成を表す機能ブロック図である。
圆 19]図 18に示した映像処理装置の各機能部が実行する処理手順を表すフローで ある。
[図 20]2段階エッジ判定部で実行する図 19中のステップ S100Aの詳細手順を表す フローチャートである。 符号の説明
100 映像処理装置
100 A 映像処理装置
103 2段階エッジ判定部（1次判定手段、 2次判定手段、 第 1判定手段、第 2判定手段、複数段エッジ判定手段） 105 フレームテロップ判定部（グループ化手段、平坦判定手段） 発明を実施するための最良の形態
[0013] 以下、本発明の一実施の形態を図面を参照しつつ説明する。本実施形態は、本発 明による映像処理装置を、 DVDを記録再生可能に構成された画像記録再生装置（ V、わゆる DVDレコーダ）に適用した場合の実施形態である。
[0014] 図 1は、上記画像記録再生装置 1の概略外観構造を表す正面図である。図 1にお いて、画像記録再生装置 1はフロントパネル laを有しており、このフロントパネル laに 、各種操作コマンドを入力するためのファンクションキー、マルチダイヤル等を有する 操作部 25と、画像記録再生装置 1の動作状態等をテキストあるいは画像データとし て表示する液晶等力もなる表示部 26とが設けられている。
[0015] 操作部 25は、画像記録再生装置 1の実行モード (例えば、録画モード、再生モード 、 TV受信モード、編集モードなど）を選択するファンクションキー 25aと、ファンクショ ンキー 25aにより選択された実行モードにおいて実行可能とされる実行状態 (例えば 、音量ボリュームの設定値、録音レベルの設定値、チャンネル設定値など）を設定す るマルチダイヤル 25bと、再生スタート、再生ストップ等の各種操作スィッチ 25cとを 備えている。
[0016] 表示部 26は、例えば英語、カタカナ等の短い語句からなるテキストデータや、記号 、グラフ、インディケータ等の画像データを表示するようになっている。
[0017] 図 2は、画像記録再生装置 1の全体機能構成を表す機能ブロック図である。この図 2及び前述の図 1において、画像記録再生装置 1は、大別して、光ディスク 200にコン テンッ情報を記録する記録装置側と、光ディスク（例えば書き込み可能な DVD— R、 DVD— RW、 DVD— RAM等） 200からコンテンツ情報を再生する再生装置側と〖こ 機能的に分かれており、さらに画像記録再生装置 1全体を制御するシステム制御部 2 1と、テロップ検出を行う本実施形態の映像処理装置 100とを備えている。
[0018] 画像記録再生装置 1の記録装置側は、 TV (テレビ)電波をアンテナを介して受信し 、映像信号及び音声信号をそれぞれ出力する TV受信機 50と、外部入力端子 INTP , INTSからの映像入力及び音声入力と TV受信機 50からの映像出力及び音声出 力とをシステム制御部 21からのスィッチ制御信号 Sswlに応じてそれぞれ切り替える スィッチ 10, 11と、これらのスィッチ 10, 11からの映像信号及び音声信号をそれぞ れ AZD変換する AZDコンバータ 12, 13と、これらの AZDコンバータ 12, 13力ら の映像信号及び音声信号をそれぞれエンコードする映像ェンコーダ処理部 14及び 音声エンコーダ処理部 15と、これら映像エンコーダ処理部 14及び音声エンコーダ処 理部 15力ものエンコードされた映像信号及び音声信号をマルチプレタスするマルチ プレクサ 16と、マルチプレタスされた信号を書き込み用レーザ光の駆動信号として供 給する情報記録部 17と、この駆動信号に基づいてデータ書き込み用のレーザ光を 光ディスク 200に照射する光ピックアップ 20とを備えている。
[0019] 他方、画像記録再生装置 1の再生装置側は、記録装置側と共有である、データ読 み出し用のレーザ光を光ディスク 200に照射すると共に光ディスク 200からの反射光 等を受光する上記光ピックアップ 20と、光ピックアップ 20の受光出力から検出信号を 生成する情報再生部 37と、情報再生部 37で生成された検出信号をデマルチプレク スして映像信号及び音声信号を出力するデマルチプレクサ 36と、これらの映像信号 及び音声信号をそれぞれデコードする映像デコーダ処理部 34及び音声デコーダ処 理部 35と、システム制御部 21からのスィッチ制御信号 Ssw2に応じてそれぞれ切り替 えられるスィッチ 30, 31と、スィッチ 30を介して供給される映像デコーダ処理部 34又 は AZDコンバータ 12からの映像信号に対して、そのデジタル出力を DZA変換す る DZAコンバータ 32と、スィッチ 31を介して供給される音声デコーダ処理部 35又 A ZDコンバータ 13からの音声信号に対して、 DZA変換を行う DZAコンバータ 33と 、上記フロントパネル laに上記操作部 25及び上記表示部 26とともに設けられたリモ コン受光部 41とを備える。
[0020] DZ Aコンバータ 32及び 33から外部出力端子 EXTP, EXTSを介し出力されるァ ナログ映像出力及びアナログ音声出力は、不図示の CRT、プラズマディスプレイ、液 晶ディスプレイ等の表示装置及びスピーカからそれぞれ出力される。
[0021] スィッチ 42は、システム制御部 21からのスィッチ制御信号 Ssw3に従って切り替えら れることにより、映像信号及び音声信号が正しく記録されている力否かを、映像出力 及び音声出力でチェックできるようになつている。 [0022] リモコン受光部 41は、装置本体力も離間して設けられたリモコン 40からの各種コマ ンド信号を受光し、この受光されたコマンド信号はシステム制御部 21に入力される。 他方、上記操作部 25で入力される各種コマンド信号もシステム制御部 21に入力され 、システム制御部 21は、予め設定されたコンピュータプログラムに従って、リモコン 40 又は操作部 25で入力された各種操作コマンド信号に応じた画像記録再生装置 1全 体の制御を行う。このとき、システム制御部 21には、制御に必要な各種データを格納 する例えば RAM等力もなるメモリー部 22が接続されている。
[0023] 以上のようにして、画像記録再生装置 1は、 TV受信機 50や、外部入力端子 INTP , INTSから入力された映像信号や音声信号を光ディスク 200に記録することができ 、更に、光ディスク 200に記録された映像信号及び音声信号を外部出力端子 EXTP , EXTS端子を介し外部に映像出力及び音声出力可能である。
[0024] 本実施形態の映像処理装置 100は、上記映像記録装置 1の外部入力端子 INTP 又は TV受信機 50から入力された映像信号（映像コンテンッ）を A/Dコンバータ 12 による AZD変換後に (言い換えれば映像エンコーダ処理部 14によるエンコード前の 状態で)入力し、あるいは、光ディスク 200から再生された映像信号を映像デコーダ 処理部 34よりデコード後の状態で入力し、その入力した映像信号に含まれるテロッ プを検出可能となっている。そして、その検出したテロップ情報に関わる信号を、シス テム制御部 21へ入力し光ディスク 200に映像信号や音声信号とともに記録可能であ り、またテロップ情報出力端子 EXTTより直接外部へも出力可能となっている。
[0025] 図 3は、上記映像処理装置 100の全体機能構成を表す機能ブロック図である。この 図 3において、映像処理装置 (テロップ検出装置） 100は、映像記録装置 1の AZDコ ンバータ 12あるいは映像デコーダ処理部 34より映像コンテンツを入力するとともに、 その映像コンテンツの時間軸に沿って開始から終了に向けて順次フレームを抽出し 各フレームの画像データを出力する（但し映像ソースの全フレームを処理対象とせず
、数フレームおきを対象としてもよい）処理フレーム抽出部 101と、この処理フレーム 抽出部 101が抽出した画像データに対し、前処理として、輝度画像に対するエッジ 検出を行いしきい値によりニ値ィ匕したエッジ画像を作成する前処理部 102と、上記前 処理部 102で前処理が行われたエッジ画像やフレーム画像を一時的に保持したり、 あるいは、静止エッジを生成するためにフレーム間でエッジ画像を保持するフレーム メモリ 107と、最新の静止エッジ画像に対して複数段階 (この例では 2段階)のエッジ ブロック判定を行 、、今回のフレームでテロップが表示されて 、ると見られる候補領 域を表すエッジ領域行列を生成する 2段階エッジ判定部 103 (複数段エッジ判定手 段）と、前回のフレーム力も今回のフレームにかけてテロップが消失した可能性がある 力どうかを判定するエッジ消失判定部 104と、エッジ消失部 104で判定したテロップ 領域候補の示す領域が、以前のフレームで本当にテロップを含んでいた力どうかを 判定するフレームテロップ判定部 105 (平坦判定手段）と、処理が終わって不要とな つたデータを破棄する後処理部 106と、フレーム中の各ブロックが直前のフレームで エッジブロックと判定されている力、過去からどれくらいに渡ってエッジ領域と判定さ れ続けたかを保持するエッジブロック履歴カウンタ 108とを有している。
[0026] 図 4は、図 3に示した映像処理装置 100の各機能部が実行する処理手順を表すフ ローである。図 4において、まずステップ S10で、エッジブロック履歴カウンタ 108の各 ブロック要素に所定の初期値 (この例では 1)が代入されて初期化される。
[0027] 次にステップ S20に移り、処理フレーム抽出部 101で、後続のフレームが存在する 力どうかを判定する。映像記録装置 1側力もコンテンツの入力が始まるとこの判定が 満たされ、以降のステップ S 30〜ステップ S 70までのループに入り、入力した映像コ ンテンッが継続して 、る間、ステップ S 70からステップ S 20に戻つてこのループの処 理を繰り返す。映像記録装置 1側力 の映像コンテンツが終了したらこのステップ S2 0の判定が満たされなくなり、全体の処理を終了する。
[0028] ステップ S30では、処理フレーム抽出部 101で、前述のようにして入力された映像 コンテンツから次に処理するフレームを抽出し、そのフレームの画像データを前処理 部 102へ出力する。このときの画像データは、 YUV形式のように輝度情報を独立し て扱えるものが望ましい。
[0029] その後、ステップ S40〖こ移り、前処理部 102で、上記ステップ S30で抽出され入力 された処理対象のフレームの画像データからエッジを抽出する。エッジ抽出は、輝度 成分に対してラプラシアンやロバーツなどのフィルタを用いた公知の手法により行う。 そして、そのフィルタを適用した結果、絶対値がしきい値以上となった画素を「1」、そ れ以外を「0」とする 2値画像を生成し、フレームメモリ 107に保存する。
[0030] このとき、フレームメモリ 107には上記のようにして処理した過去のフレームの 2値化 エッジ画像が残されるようになっており、前処理部 102は、フレームメモリ 107に保持 されて 、る過去の時点で処理したフレーム (枚数は任意）の 2値ィ匕エッジ画像を参照 する（このとき参照する過去フレームの数は任意に定めてよい)。そして、今回の 2値 化エッジ画像と、それらの過去の 2値ィ匕エッジ画像のすべてに共通してエッジが出現 して 、る（共通して値が「 1」となって!/、る）画素を「 1」、それ以外の画素を「0」とした最 新の静止エッジ画像を生成する。この生成した最新の静止エッジ画像は、フレームメ モリ 107に入力されて保持される。
[0031] そして、ステップ S100に移り、 2段階エッジ判定部 103で 2段階でのエッジ判定を 行う。すなわち、ステップ S40の前処理で生成した静止エッジ画像に対して、小さな ブロックと大きなブロックの 2段階の尺度で、ブロック単位のエッジ判定を行い、各大 ブロックの適合判定結果をエッジ領域行列として出力する。
[0032] 図 5は、 2段階エッジ判定部 103で実行する上記ステップ S 100の詳細手順を表す フローチャートである。
[0033] 図 5において、まず、ステップ S105で、初期設定として、画像全体をたとえば 8画素
X 8画素の大きさの多数の小ブロックに分割する。また、大ブロックを、たとえば小ブ ロックが 8ブロック X 8ブロック =64ブロック含む大きさとなるよう〖こ設定する。 /Jヽブロッ クの大きさが 8画素 X 8画素であれば、大ブロックの大きさは 64画素 X 64画素となる 。そのような大ブロックで画面全体を分割する。ただし、大ブロックの大きさの設定に よっては、画像全体に大ブロックを隙間なく敷き詰められな ヽ (割り切れな!/ヽ)場合もあ る。この場合は、画面の端の部分をテロップ検出の対象外として、どの大ブロックにも 含ませな!/、ようにしてもよ!、し、一部の小ブロックが複数の大ブロックに含まれるように 、つまり大ブロック同士が一部で重複するように、大ブロックを設定してもよい。
[0034] そして、小ブロックの判定結果を書き込むエッジ小ブロック行列と、大ブロックの判 定結果を書き込むエッジ領域行列を用意し、各要素を「0」で初期化する。また、小ブ ロックと大ブロックの注目位置を画面左上端に設定する。
[0035] 次に、ステップ S110〖こ移り、未処理の小ブロックが存在するかどうかを判定する。 最初は未処理の小ブロックだけであるからこの判定が満たされ、以降のステップ S11 5〜ステップ S135までのループ〖こ入り、すべての小ブロックの処理が終了し未処理 の小ブロックがなくなるまで、ステップ S135からステップ S110に戻ってこのループの 処理を繰り返す。
[0036] ステップ S115では、入力画像を元に、小ブロックを単位としたエッジ検出を行う。前 述の各小ブロックに対して、小ブロック内のエッジの数をカウントする。つまり、上記ス テツプ S40で生成した静止エッジ画像で、値が「1」である画素の数をカウントする。
[0037] その後、ステップ S120に移り、上記ステップ S115でカウントした小ブロック内画素 数（エッジ数）がしきい値 Thrlより大きいかどうかを判定する。しきい値 Thrlより大きか つた場合、判定が満たされてその小ブロックはエッジの多い小ブロック (以下適宜、「 エッジ小ブロック」という)であるとみなされ、ステップ S 125〖こ移り、エッジ小ブロック行 列のその小ブロックの位置に「1」を書き込む。しきい値 Thrl以下であった場合、ステ ップ S 120の判定が満たされずステップ S 130に移り、エッジ小ブロック行列のその小 ブロックの位置に「0」を書き込む。なお、しきい値 Thrlは、あらかじめ適宜の値を設 定しておけば足りる。 ブロックに対象（注目位置）を移した後、ステップ S110に戻って同様の手順を繰り返 す。
[0039] 以上のようにしてステップ S 110〜ステップ S 135までのループを繰り返し、すべて の小ブロックの処理が終了し未処理の小ブロックがなくなったら、上記ステップ S110 の判定が満たされ、ステップ S 140へ移る。
[0040] ステップ S 140では、未処理の大ブロックが存在するかどうかを判定する。最初は未 処理の大ブロックだけであるからこの判定が満たされ、以降のステップ S 150からステ ップ S195までのループに入り、すべての大ブロックの処理が終了し未処理の大ブロ ックがなくなるまで、ステップ S195からステップ S140に戻ってこのループの処理を繰 り返す。
[0041] ステップ S150では、上記のエッジ小ブロック行列を元に、各大ブロックを単位とした 「ならび判定」を行う。図 6 (a)及び図 6 (b)は、このならび判定の考え方 (判定概念)を 概念的に表す説明図であり、 1つの大ブロックとその内部の多数 (この例では 64個） の小ブロックを表している。また、黒い小ブロックが上記エッジ小ブロックを示し、白い 小ブロックはそれ以外の小ブロックを示している。
[0042] これら図 6 (a)及び図 6 (b)において、図示の大ブロックはいずれも内部のエッジ小 ブロックの数は 8である。そのため、仮に、大ブロックがエッジブロックであるかの判定 を内部のエッジ小ブロックの数のみによって判定するのであれば、これら 2つは同等 な評価となる。し力しながら、図示より明らかなように、実際のテロップの形状を考える と図 6 (a)ではエッジ小ブロックが線状に連結しており、エッジ小ブロックが散らばって いる (b)と比べれば、テロップの一部分である可能性が高い。
[0043] そこで、これに応じて、図 6 (a)に示すような態様の大ブロックが図 6 (b)に示すような 態様の大ブロックに比べて高 、評価を与えられるような、小ブロックの「ならび判定」を 実行する。具体的には、大ブロック内のエッジ小ブロックの分布により、その大ブロッ クのエッジ小ブロックらしさの評価値を決定する。すなわち、ある大ブロック内の各小 ブロックに対して、その小ブロック力 より長く線状に連結しているエッジ小ブロックの 塊の一部である場合に、より高い評価値を与える。そして、各小ブロックの評価値の 合計を、大ブロックの評価値とする。
[0044] 図 7は、上記の基本原理に基づき、 2段階エッジ判定部 103で実行する上記ステツ プ S 150のならび判定の詳細手順を表すフローチャートである。
[0045] 図 7において、まずステップ S151で、初期設定として、判定対象の大ブロックの評 価値を格納する変数 t=0に設定 (代入)する。そして、当該大ブロックに含まれる評 価対象とする小ブロックを、上記大ブロック内の左上端に設定する。
[0046] 次に、ステップ S152〖こ移り、未処理の小ブロックが存在するかどうかを判定する。
最初は未処理の小ブロックだけであるからこの判定が満たされ、以降のステップ S 15 3〜ステップ S165までのループに入り、すべての小ブロックの処理が終了し未処理 の小ブロックがなくなるまで、ステップ S165からステップ S152に戻ってこのループの 処理を繰り返す。
[0047] ステップ S 153では、評価対象の小ブロックがエッジ小ブロックであるかどうか（前述 のステップ S 125又はステップ S 130でエッジ小ブロック行列のその小ブロックの位置 に「1」が書き込まれて 、るかどうか)を判定する。エッジ小ブロックでなければ判定が 満たされず後述のステップ S159に移り評価対象を次の小ブロックに進める力 エツ ジ小ブロックである場合は判定が満たされ、次のステップ S 154に移る。
[0048] ステップ S154では、注目点を当該評価対象小ブロックとする。その後、ステップ S1 55に移り、今回の評価対象小ブロックの評価値を格納する変数 sに初期値の 1を代 入する。
[0049] そして、ステップ S156において、注目点の小ブロックの周囲 8ブロックに着目し、こ の注目点の小ブロックに接するブロック数（8つ）のうちに占めるエッジ小ブロックの数 =nに設定し、この nをカウントする。
[0050] その後、ステップ S157において、上記ステップ S156でカウントした n=0若しくは n ≥ 3であるかどうかを判定する。 n=0の場合は当該エッジ小ブロックに接しているエツ ジ小ブロックがなぐまた n≥ 3以上の場合も当該エッジ小ブロックが線状の連結の一 部とは認められないとみなされ、ステップ S 157の判定が満たされずステップ S 158に 移り、評価値 sを増加させず現状の評価値 sを現状の格納値 tにカ卩えてステップ S 159 で評価対象を次の小ブロックに進め、ステップ S152に戻って同様の手順を繰り返す
[0051] n= 1又は 2の場合は、ステップ S157の判定が満たされ、ステップ S160に移り、隣 接する 1つのエッジ小ブロック（n= 1の場合）又は隣接する 2つのエッジ小ブロックの うち!/、ずれか一方のエッジ小ブロック（n= 2の場合）に注目点を移す。
[0052] その後、ステップ S161において、この時点で、線状に連結するブロックがーつあつ たとみなされ、現状の評価値 sに所定値 (例えば 1)を加算し、ステップ S162に移る。
[0053] ステップ S162では、新たな注目点の小ブロックの周囲 8ブロックに着目し、この注 目点の小ブロックに接するブロック数（8つ）のうちに占めるエッジ小ブロックの数 =m に設定し、この mをカウントする。
[0054] その後、ステップ S163において、上記ステップ S162でカウントした m= 2である力^ 新たな注目点の隣接エッジ小ブロック数が 2であり、直前に注目して 、たブロックの他 にもう 1個、隣接するエッジ小ブロックがある)どうかを判定する。 m= 2の場合は判定 が満たされてステップ S 160に戻り、 sに上記所定値をその都度加算しつつ注目点を 移動するステップ S160〜ステップ S163の処理を繰り返す。
[0055] このような処理を繰り返している間に隣接するエッジ小ブロック数 mが 2でなくなると 、ステップ S163の判定が満たされずステップ S164に移り、 n (評価対象エッジ小ブロ ックに接するエッジ小ブロックの数）を 1減算した後、ステップ S165において注目点を 評価対象ブロックに再び戻し、ステップ S 157に戻って同様の手順を繰り返す。
[0056] この時点でまだ n= lであった場合はステップ S157の判定が満たされてステップ S 160に移り、先ほど注目点を移動しなカゝつた側の隣接エッジ小ブロックに注目点を移 し、以降、同様の処理を行う。 n=0になっていればステップ S157の判定が満たされ ず、前述のようにステップ S 158に移り、この時点の評価値 sのまま増加させずその sを 現状の格納値 tに加えてステップ S159で評価対象を次の小ブロックに進める。
[0057] 以上のようにしてステップ S153〜ステップ S165までのループを繰り返し、すべて の小ブロックの処理が終了し未処理の小ブロックがなくなったら、上記ステップ S152 の判定が満たされなくなり、このフローを終了する。これによつて、対象大ブロック内 のすベての小ブロックに対して評価値 sを決定し、各小ブロックの評価値 sの合計を順 次合計し、その最終的な積算値である上記格納値 tを大ブロックの評価値とするなら び判定処理を完了する。
[0058] 図 5に戻り、以上のようにしてならび判定が終了したら、ステップ S180へ移る。ステ ップ S 180では、上記ステップ S 150のならび判定で算出した評価値 (格納値) tがしき い値 Thr2より大きいかどうかを判定する。しきい値 Thr2より大き力つた場合、判定が 満たされてその大ブロックは内部のエッジの状態がテロップらし ヽ（テロップである可 能性が相対的に高い）エッジ大ブロックであるとみなされ、ステップ S185に移り、エツ ジ領域行列のその大ブロックの位置に「1」を書き込む。しき 、値 Thr2以下であった場 合、ステップ S 180の判定が満たされずステップ S 190に移り、エッジ領域行列のその 大ブロックの位置に「0」を書き込む。なお、しきい値 Thr2は、あら力じめ適宜の値を設 定しておけば足りる。 ブロックに対象（注目位置）を移した後、ステップ S140に戻って同様の手順を繰り返 す。 [0060] 以上のようにしてステップ S 140〜ステップ SI 95までのループを繰り返し、すべて の大ブロックの処理が終了し未処理の大ブロックがなくなったら、上記ステップ S140 の判定が満たされなくなり、 2段階エッジ判定処理を終了する。
[0061] 図 8は、上述した 2段階エッジ判定の実際の具体例として、比較的大きな文字「あ」 が表示されている画面に対し 2段階エッジ判定を行った場合の挙動を概略的に表す 説明図である。前述したように、初めに画像全体（図 8において略黒色塗りで示す部 分を含む全体)を多数の小ブロックに分割しそれぞれのブロック内でエッジが多く発 生しているかを判定する力 この例では、文字の縁部分に対応する小ブロック（図 8中 、小さな矩形で表されるもの）がエッジを多く含むエッジ小ブロックとなる。次に、この 小ブロックの判定結果を元にしてこれら小ブロックを多数 (この例では 8 X 8 = 64個） 含む大きさの大ブロックの判定を行うが、この例では、図 8中の大きな矩形で表される ものが、エッジ小ブロックを規定数以上含む (エッジ小ブロックの割合が相対的に高 V、)エッジ大ブロックとなる。
[0062] 図 4に戻り、上記のようにしてステップ S100の 2段階エッジ判定が終了したら、ステ ップ S50に移る。ステップ S50では、エッジ消失判定部 104で、以前に処理したフレ ームでエッジ領域に含まれていながら今のフレームでエッジ領域に含まれなかった 領域の発生状態から、前回のフレーム力 今回のフレームにかけてテロップが消失し た可能性があるかどうかを判定する。この判定は、たとえば、前のフレームではエッジ 大ブロックで、今回のフレームでエッジ大ブロックではなくなつた大ブロックの数が所 定のしき 、値以上であるかどうかで判定する。
[0063] しき!/、値未満であった場合にはこのステップ S50の判定が満たされずステップ S70 に移って対象を次のフレームに移し、ステップ S20に戻って同様の手順を繰り返す。 しきい値以上であった場合にはステップ S50の判定が満たされてテロップの可能性 があるとみなされ、その消失したエッジ大ブロックの行列をテロップ領域候補としてフ レームテロップ判定部 105へ出力した後、ステップ S 200へ移る。
[0064] なお、前のフレームでエッジ大ブロックではなく今回のフレームでエッジ大ブロックと なった大ブロックについては、エッジブロック履歴カウンタ 108に、現在のフレーム番 号をテロップ表示開始時刻として記憶する。また、ブロックごとのエッジ領域判定の結 果と現時点でのエッジブロック履歴カウンタ 108の値とによって、エッジブロック履歴 カウンタ 108の値を更新する。
[0065] ステップ S200では、フレームテロップ判定部 105で、あるフレームにテロップが表 示されているかを判定するフレームテロップ判定を行う。図 9は、このフレームテロップ 判定部 105で実行する上記ステップ S200の詳細手順を表すフローチャートである。
[0066] 図 9において、まず、ステップ S210で、上記ステップ S100における 2段階エッジ判 定でのエッジ大ブロックの検出結果に基づき、そのエッジ大ブロックの画素の行単位 で、フレームテロップ判定の対象とする領域を決定する判定範囲決定を行う。ここで は、上記 2段階エッジ判定で検出したエッジ大ブロックが水平方向の一直線上に一 定数以上存在する領域を平坦度判定の処理対象とする。なお、この例では横方向の 行のみを処理対象として ヽるが、縦方向にも同様の処理を施してもよ!、。
[0067] その後、ステップ S220に移り、画素の行の中で輝度値が近い画素が集まっている 領域をそれぞれ平坦領域として検出する平坦領域検出を行う。図 10は、この平坦領 域検出の考え方 (基本原理)を概念的に表す説明図である。
[0068] 図 10において、この例では、暗い 1色の背景の上に、明るい 1色の色の「あいう」と いうテロップが表示されている。一例として、その文字に掛カる画素の行 (A)に注目 し、この行の各画素の輝度値をグラフにすると、（B)のようになり、文字の形に沿って（ b) , (d) , (f) , (h) , (j)と 5つの輝度の平坦な部分が発生している。その一方、文字 以外の背景も均一な色なので、（a) , (c) , (e) , (g) , (i) , (k)の 6つの背景部分も平 坦となっている。このように、画素の行で輝度が平坦となっている部分を、平坦領域と してそれぞれの行力 抽出する。
[0069] 図 11は、フレームテロップ判定部 105で実行する上記ステップ S220の平坦領域検 出の詳細手順を表すフローチャートである。
[0070] 図 11において、まずステップ S221で所定の初期設定を行う。このとき、例えば判定 対象の行を例えば上端行に設定する。
[0071] 次に、ステップ S222に移り、未処理の行が存在するかどうかを判定する。最初は未 処理の行だけである力もこの判定が満たされ、以降のステップ S223〜ステップ S234 までのループに入り、すべての行の処理が終了し未処理の行がなくなるまで、ステツ プ S234からステップ S222に戻ってこのループの処理を繰り返す。
[0072] ステップ S223では、まず注目点を行の左端に設定する。その後、ステップ S224に 移り、各行判定における初期設定として、現在の状態を「平坦領域外」であると設定 する。その後、ステップ S 225に移る。
[0073] ステップ S225では、現在の状態が平坦領域外であるかどうかを判定する。最初は ステップ S224にお!/、て平坦領域外であると設定されて!、るのでこの判定が満たされ 、ステップ S226に移る。
[0074] ステップ S226では、現在注目して!/、る画素の周辺が平坦であるかどうかを判定す る。このときの判定方法は、たとえば注目画素を中心とした所定幅の画素範囲で輝度 値の分散が所定値以下の場合に、平坦であると判定すれば足りる。または、所定幅 の範囲内で輝度値の最大値と最小値の差が所定値以下の場合に、平坦であると判 定するようにしてもょ 、。注目画素周辺が平坦でな 、場合は判定が満たされず後述 のステップ S229に移る。
[0075] 注目画素周辺が平坦である場合はステップ S226の判定が満たされ、現在の注目 画素が平坦領域の開始点であるとみなされ、ステップ S227へ移って状態を平坦領 域内とするとともに、さらにステップ S228で平坦領域の開始点としてその位置を記憶 し、ステップ S229へ移る。
[0076] 一方、ステップ S225において、現在の状態が平坦領域内であった場合は判定が 満たされず、ステップ S231に移り、現在注目している画素の周辺が平坦でないかど うかを判定する。このときの判定方法は、ステップ S226と同様の手法で足りる。注目 画素周辺が平坦である場合は判定が満たされず後述のステップ S229に移る。
[0077] 注目画素周辺が平坦でなかった場合はステップ S231の判定が満たされ、現在の 注目画素が平坦領域の終了点であるとみなされ、ステップ S232へ移って状態を平 坦領域外とするとともに、さらにステップ S233で平坦領域の終了点としてその位置を 記憶するとともに、いま終了した平坦領域の含む画素の輝度の平均値を、この平坦 領域の代表輝度値として抽出し記憶した後、ステップ S 229へ移る。
[0078] ステップ S229では、現在の注目点が行の右端であるかどうかを判定する。最初は まだ右端に達して 、な 、からこの判定が満たされずステップ S230で注目点を右に 1 画素移動し、ステップ S225に戻って同様の手順を繰り返す。
[0079] このようにして、ある行について注目点が右端に到達するまで注目点を右に 1画素 移動しながら処理を続行し、当該行における平坦ィ匕領域の開始位置の記憶、終了位 置の記憶、及びその代表輝度値の算出及び記憶処理を行う。注目点が行の右端ま で到達したら、ステップ S229の判定が満たされてステップ S234に移り、次の行に対 象を移した後、ステップ S222に戻って同様の手順を繰り返す。
[0080] 以上のようにしてステップ S222〜ステップ S234までのループを繰り返し、すべて の対象行の処理が終了し未処理の行がなくなったら、上記ステップ S222の判定が 満たされなくなり、このフローを終了する。これによつて、処理対象のすべての行が含 む輝度が平坦な領域の個数、すべての領域の開始点、終了点、代表輝度値からな る平坦領域情報を生成する。
[0081] 図 12は、そのような平坦領域情報の一例を表すものであり、この例では、前述の図 10に対応し、図 10中の（a) , (b) , (c) , (d) , (e) , (f ) , (g) , (h) , (i) , (j) , (k)に相 当する各平坦領域のデータを表して 、る。
[0082] なお、上記のようにして平坦領域を検出する際、その領域の両端で、エッジに相当 する急激な輝度値の増減が発生して 、るかを調べ、それが発生して 、る場合にのみ 、その平坦領域を有効にするようにしてもよい。また、平坦領域判定処理を行う前に、 この行の輝度値の列に対してノイズ除去フィルタを掛け、輝度値に少々の揺れがある 平坦領域を検出しやすくしてもよい。
[0083] 図 9に戻り、以上のようにしてステップ S220の平坦領域検出処理が終了したら、ス テツプ S240〖こ移り、上記ステップ S220で平坦度検出を行った各行に対し、平坦領 域の出現状態力もその行がテロップを含む行であるらしいかどうかを判定するテロッ プ行判定を行う。
[0084] 図 13は、フレームテロップ判定部 105で実行する上記ステップ S240のテロップ行 判定の詳細手順を表すフローチャートである。
[0085] 図 13において、まずステップ S241で所定の初期設定を行い、例えば処理開始行 を上側の行に設定する。次に、ステップ S242に移り、未処理の行が存在するかどう かを判定する。最初は未処理の行だけであるからこの判定が満たされ、以降のステツ プ S243〜ステップ S249までのループ〖こ入り、すべての行の処理が終了し未処理の 行がなくなるまで、ステップ S248からステップ S242に戻ってこのループの処理を繰 り返す。
[0086] ステップ S243では、ある行で検出された平坦領域を、代表輝度値の近さによって グループィ匕する。なおこのときの代表輝度値の近さの設定は、対象コンテンツの態様 や操作者の用途に応じて適宜にその範囲を設定すれば足りる。
[0087] その後、ステップ S244に移り、未処理グループがあるかどうかを判定する。最初は 上記ステップ S243でグループ化したいずれのグループも未処理であるからこの判定 が満たされ、ステップ S 245に移る。
[0088] ステップ S245では、各グループに着目し、テロップらしさ（テロップの可能性が相対 的に大きいかどうか)を判断する。このときの判定は、平坦領域の数、占有幅などに基 づき、例えば行のそのグループの平坦領域が占める幅が一定の範囲内であること、 平坦領域の数が一定数以上であること等を判定条件とする。また、平坦領域の数に よって、幅の条件を加減してもよい。さらに、平坦領域の位置を条件としてもよい。たと えば、画面左端と画面右端から始まる領域があった場合、そのグループはテロップよ りも背景である可能性が高いので、そのグループによって、その行がテロップ行候補 であると判断しな 、ようにすることができる。
[0089] 行がテロップらしくな 、 (テロップである可能性が相対的に小さ!/、）場合はステップ S 246の判定が満たされず、ステップ S244に戻って同様の手順を繰り返し、次の平坦 領域グループの判定に進む。このとき、ステップ S244→ステップ S245→ステップ S2 46と繰り返したときどの平坦領域グループを採用してもテロップらしくなぐついに未 処理グループがなくなった場合はステップ S244の判定が満たされなくなってステツ プ S249に移り、その行はテロップ行候補ではないと判断して、ステップ S248へ移り 、対象を次の行に移してステップ S242に戻り、同様の手順を繰り返す。
[0090] 行がテロップら 、 (テロップである可能性が相対的に大き 、）場合は、ステップ S 2 46の判定が満たされ、ステップ S247に移ってその行をテロップ行候補と設定し、ス テツプ S248へ移って対象を次の行に移してステップ S242に戻り、同様の手順を繰 り返す。 [0091] 以上のようにしてステップ S242〜ステップ S 249までのループを繰り返し、すべて の対象行の処理が終了し未処理の行がなくなったら、上記ステップ S242の判定が 満たされなくなり、このフローを終了する。これによつて、処理対象のすべての行が含 む平坦領域グループのテロップらしさを判定し、テロップ行候補の設定を終了する。
[0092] 図 9に戻り、以上のようにしてステップ S240のテロップ行判定処理が終了したら、ス テツプ S260に移り、上記ステップ S240で設定されたテロップ行候補の状態力もこの フレームにテロップが表示されているかを判定するテロップ存在判定を行う。
[0093] 図 14は、フレームテロップ判定部 105で実行する上記ステップ S260のテロップ存 在判定の詳細手順を表すフローチャートである。
[0094] 図 14において、まずステップ S261で所定の初期設定を行い、フレームのテロップ 存在の評価用の変数 Vと、テロップ行候補の連続をカウントする変数 rを初期値 0とす る（0を代入する）。また処理開始行を例えば上側の行に設定する。
[0095] 次に、ステップ S262〖こ移り、未処理の行が存在するかどうかを判定する。最初は未 処理の行だけである力 この判定が満たされ、以降のステップ S263〜ステップ S267 までのループに入り、すべての行の処理が終了し未処理の行がなくなるまで、ステツ プ S265からステップ S262に戻ってこのループの処理を繰り返す。
[0096] ステップ S263では、現在着目して!/、る行が、ステップ S240で設定されたテロップ 行候補であるかどうかを判定する。テロップ行候補であった場合には、ステップ S263 の判定が満たされ、ステップ S264にお 、てテロップ行候補の連続をカウントする上 記変数 rに所定値 (例えば 1)を加算し、ステップ S265へ移る。
[0097] テロップ行候補でな力つた場合にはステップ S263の判定が満たされず、テロップ 行候補の連続性が途絶えたものとみなされてステップ S 266に移り、評価値 Vにこれま での連続状況を反映した現状の rを加算し新たな Vとする。そして以降の再カウント〖こ 備えてステップ S267で r=0として初期化した後、ステップ S265へ移る。
[0098] ステップ S265では、対象を次の行へ移し、ステップ S262へ戻って同様の手順を繰 り返す。以上のようにしてステップ S262〜ステップ S267までのループを繰り返し、す ベての行の処理が終了し未処理の行がなくなったら、上記ステップ S262の判定が満 たされなくなり、ステップ S268へ移る。 [0099] ステップ S268では、上記テロップ行候補の連続をカウントする上記変数 rの積算値 である上記評価値 Vが、所定のしきい値以上であるかを判定する。しきい値以上であ れば、判定が満たされてこのフレームにテロップが存在していたとみなされ、ステップ S269において対応するテロップ表示情報を生成してフレームメモリ 107に保存する とともに後処理部 106へ出力し、このフローを終了する。一方、しきい値未満であれ ば、判定が満たされずこのフレームにテロップが存在していなかったとみなされ、この フローを終了する。
[0100] 図 4に戻り、上記のようにしてフレームテロップ判定が終了したら、ステップ S60に移 り、後処理部 106で、これまでの各処理の後処理を行う。例えば、上記ステップ S200 のフレームテロップ判定でテロップを検出し、テロップ表示情報がフレームメモリ 107 に残っている場合は、テロップを検出した領域のエッジブロック履歴カウンタ 108の値 から、そのテロップが出現したフレーム番号を算出する。そして、テロップ表示開始フ レーム番号、消失したフレーム (今回のフレーム番号)、テロップの表示位置を、テロッ プ情報信号として前述した、外部出力端子 EXTTへ、又はシステム制御部 21へ出力 する。
[0101] また、エッジ大ブロックが消失した領域の、エッジブロック履歴カウンタ 108の値を初 期化する。さらに、フレームメモリ 107に保存されていて今回のフレームの処理が終 わって不要となった、以前のフレームの画像、エッジ画像のデータと、今回のフレー ムのテロップ表示情報とを破棄する。
[0102] ステップ S60が終了したらステップ S70に移り、対象を次のフレームに移し、ステツ プ S20に戻って同様の手順を繰り返す。
[0103] なお、上記において、図 5に示した 2段階エッジ判定部 103の実行する制御フロー のステップ S105が、請求項記載の、 1つのフレームを複数の大ブロックに分割すると ともに、各大ブロックをさらに複数の小ブロックに分割する分割設定手段に相当する。 またステップ S110〜ステップ S135が、複数の小ブロックのそれぞれについて、エツ ジに関わる第 1の判定基準に応じた 1次判定を行う 1次判定手段に相当するとともに 、第 1の判定を行う第 1判定手段にも相当する。またステップ S 140〜ステップ S 195 力 複数の大ブロックのそれぞれについて、 1次判定手段で判定が満たされた小プロ ックの存在に関わる第 2の判定基準に応じた 2次判定を行う 2次判定手段に相当する とともに、第 2の判定を行う第 2判定手段にも相当する。
[0104] また、フレームテロップ判定部 105の実行する図 13に示したフローに示すステップ S243力 1つのフレームに含まれる複数の平坦領域をその代表輝度値の近さに応じ てグループィ匕するグループィ匕手段に相当する。
[0105] 以上のように構成した本実施形態においては、以下の作用効果を奏する。
[0106] すなわち、本実施形態の映像処理装置 100では、フレームにテロップが存在する 場合にテロップを構成する文字等の縁取り（外縁）においてエッジが生じることに対応 し、テロップ検出にあたってまず前処理部 102で実行する前処理においてエッジ検 出を行い、その後その検出したエッジがテロップを構成するものであるかどうかを判定 する。そのエッジ判定の際、 2段階エッジ判定部 103で、複数段階 (この例では 2段階 )で別々の判定基準（この例では、小ブロックがエッジ小ブロックであるかどうかと、ェ ッジ小ブロックを含む大ブロックがエッジ大ブロックであるかどう力）でエッジに関わる 判定を行う。
[0107] これにより、テロップである可能性を上記のように検出エッジに基づいて判定し検討 する際、この例では、まず前段階 (この例では小ブロックがエッジ小ブロックであるか どうかを判定する段階)でフレームに含まれるエッジに応じて大ざつばに判定を行つ た (この例では文字の縁のように局所的にエッジが集まっている箇所に基づきエッジ 小ブロックと判定する）後、その判定が満たされたものについて、別の基準 (この例で はエッジ小ブロックを含む大ブロックがエッジ大ブロックであるかどう力）で絞り込んで
、高深度のエッジ判定を行うことができ、より精度の高いエッジ判定を行うことができる 。この結果、例えばエッジとは異なる他の判定要素に関わる情報を加味しテロップ検 出精度を向上させなくても、エッジ判定自体の精度を向上することによって確実に高 い精度で映像中のテロップ検出を行う（よりテロップらしい領域を検出する）ことができ る。
[0108] また、本実施形態では特に、エッジが検出されたときにそのエッジがテロップを構成 するものであればテロップを構成する文字等の縁取り（外縁)形状に応じて（沿って） エッジが略線状に連続することに対応し、 2段階エッジ判定部 103における後の段階 の判定にお!ヽて前述のならび判定を行！ヽ、判定対象の大ブロックに存在する上記前 の段階の判定が満たされたエッジ小ブロックの存在位置の略線状連続性に応じて判 定を行う。
[0109] このようにエッジ小ブロックの並び方によって大ブロックがエッジ大ブロックであるか の判定を行うことにより、そのようなエッジ分布に配慮せず均一的に判定を行う場合 に比べ確実に精度の高いエッジ判定を実現することができる。特に、エッジ判定を行 う際に単純にエッジ密度の大小で一段階のみで判定を行う従来技術と異なり、例え ば文字の大きなテロップの場合を含めエッジの量が相対的に少ないテロップを検出 しょうとする際は、テロップ以外の誤検出を減らすことができるので、特に有効である。
[0110] すなわち、文字がそれほど大きくないテロップであれば、文字の縁にあたるエッジが 比較的密集しテロップ以外の領域と比較してエッジの密度が高くなりやすいため、ェ ッジの密度のみによってテロップを検出することも十分有効である。しかしながら、テ 口ップの文字が大き 、場合は、小さな文字のテロップに比べてエッジが密集しな 、た め、エッジの密度のみによって検出するのは困難である。強いて検出しょうとすれば、 検出のためのエッジ密度しきい値を小さくしなければならなくなり、テロップ以外の部 分との区別が難しくなつて誤検出の可能性が高くなる。
[0111] 上記実施形態では、文字の大きなテロップでは、全体のエッジの密度は低くなるも ののエッジが全くバラバラに発生するわけではなぐテロップの縁に沿ってある程度 固まって発生するという性質に特に着目し、これに対応するように図っている。すなわ ち例えば、小ブロックにおけるエッジ検出時には通常と同様の小さくないエッジ量 (又 はエッジ密度）のしきい値で判定を行ってエッジ小ブロックを認定する一方、このエツ ジ小ブロックを含む大ブロックにお 、て前述のならび判定を行 、、判定対象の大ブロ ックに存在する、上記前の段階の判定が満たされたエッジ小ブロックの存在位置の 略線状連続性に応じて判定を行う。これにより、誤検出を防止しつつ、確実なテロッ プ検出を行うことができる。
[0112] さらに、本実施形態では特に、フレームにテロップが存在するとテロップを構成する 文字等の縁取り（外縁)の内側が通常均一な輝度又は色素の画素が連続する領域と なることに応じ、上記のような 2段階エッジ判定部 103におけるエッジ判定に加え、フ レームテロップ判定部 105で一つのフレームについて周辺に比べて輝度又は色差が 略等しい画素が連続する平坦領域を検出し、さらにこれに基づく判定を行う。またこ のとき特に、ある一点が周囲に対して平坦であるかだけでなぐ画像の行が含む平坦 領域を検出することで、平坦領域の分布をもとにテロップであるかの判定を、さらに高 精度に行うことができる。なお、文字が大きなテロップでは平坦領域の出現が顕著と なるので、特に有効である。
[0113] さらに本実施形態では特に、テロップと同様、背景も均一な輝度又は色素の画素が 連続する領域であることに鑑み、フレームテロップ判定部 105がステップ S243でまず 代表輝度値の近さに応じて平坦領域をグループィ匕している。通常、テロップと背景と では輝度の値が大きく異なることから、上記グループ化の結果、テロップを構成する 複数の平坦領域につ!、てはそれら同士で互いにグループ化され（例えば図 10の例 の (b) (d) (f) (h) (j) )、背景を構成する複数の平坦領域についてはそれら同士で互 いにグループィ匕される（例えば図 10の例の（a) (c) (e) (g) (i) (k) )。その後、フレー ムテロップ判定部 105が各グループごとにステップ S245及びステップ S246で特性 値に応じた判定を行うことにより、上記のようにしてテロップを構成する平坦領域ダル ープを、背景を構成する平坦領域グループと区別して認識することができる。これに より、背景を除外したさらに高精度のテロップ検出を行うことができる。
[0114] その他、本実施形態では、画面全体の中力 フレームが表示されている位置を検 出することができる効果もある。
[0115] なお、本発明は上記実施形態に限られるものではなぐその趣旨や技術的思想を 逸脱しない範囲内で種々の変形が可能である。以下、そのような変形例を順次説明 する。
[0116] (1)ならび判定を行わない場合
すなわち、図 5にお 、てステップ S 150で前述したならび判定は必ずしも必要なく、 省略してもよい。図 15は、このような変形例において 2段階エッジ判定部 103が実行 する、前述の実施形態におけるステップ S100に対応するステップ S100Aの詳細手 順を表すフローチャートである。図 5と同等の手順には同一の符号を付し、適宜説明 を簡略化又は省略する。 [0117] 図 15において、前述の図 5と異なるのは、ステップ S150及びステップ S180に代え て、ステップ S150A及びステップ S180Aが設けられていることである。すなわち、ス テツプ S 105、ステップ S 110、ステップ S 115〜ステップ S 135、ステップ S 140は上記 図 5と同様であり、ステップ S 140の判定が満たされるとステップ S 150Aに移る。
[0118] ステップ S150Aでは、対象大ブロックの中に、上記ステップ S 125においてエッジ 小ブロックと判定とされたものが何個あるかをカウントする。その後、ステップ S180A に移り、上記ステップ S150Aでカウントしたエッジ小ブロック数がしきい値 Thr2aより 大きいかどうかを判定する。しきい値 Thr2aより大き力つた場合、判定が満たされてそ の大ブロックはエッジ小ブロックが相対的に多い (エッジ小ブロックでないブロック数よ り多い必要はなぐ例えば 2〜3個等でもよい。 1個の場合もありうる)エッジ大ブロック であるとみなされ、図 5と同様のステップ S185に移る。一方しきい値 Thr2a以下であ つた場合、ステップ S180Aの判定が満たされずその大ブロックは上記エッジ大ブロッ クではないとみなされ、図 5と同様のステップ S190に移る。なお、しきい値 Thr2aは、 あら力じめ適宜の値を設定しておけば足りる。
[0119] その他の手順は上記実施形態と同様であり、説明を省略する。なお本変形例にお いては、図 15に示した 2段階エッジ判定部 103の実行する制御フローのステップ S1 40〜ステップ S195力 各請求項記載の、複数の大ブロックのそれぞれについて、 1 次判定手段で判定が満たされた小ブロックの存在に関わる第 2の判定基準 (大ブロッ クにおけるエッジ小ブロック数の大小）に応じた 2次判定を行う 2次判定手段に相当す るとともに、第 2の判定を行う第 2判定手段にも相当する。
[0120] 本変形例においても、上記実施形態と同様、複数段階で別々の判定基準で判定を 行うことによるエッジ判定の検出精度向上という効果を得る。すなわち、まず、前の段 階で局所的にエッジが集まって 、る小ブロックをエッジ小ブロックと判定した後、さら にエッジ小ブロックを含む大ブロックがエッジ大ブロックであるかどうかで絞り込んで 判定を行うことで、より精度の高 、エッジ判定を行うことができる。
[0121] 特に、例えば文字の大きなテロップの場合を含めエッジの量が相対的に少ないテロ ップを検出しょうとする際のテロップ以外の誤検出を減らすことができるので、特に有 効である。すなわち例えば、小ブロックにおけるエッジ検出時には通常と同様の小さ くな 、エッジ量 (又はエッジ密度）のしき 、値で判定を行ってエッジ小ブロックを認定 する一方、そのエッジ小ブロックが各大ブロックにおいて何個存在するかというエッジ 小ブロック数 (または割合)のしき 、値につ 、ては比較的小さ 、値とすればょ 、。この ようにすれば、上記のように単純に低いしきい値で密度を判定するのと比べ、エッジ 量しき 、値は大き 、ため誤検出は少なくしつつ、エッジ小ブロック数しき 、値は小さ いため確実に漏れなくテロップを検出することが可能となる。
[0122] その他、ならび判定を行うことによる効果以外の効果について、本変形例でも上記 実施形態と同様の効果を得る。
[0123] (2) MPEG方式によるデータ特性を利用する場合
本変形例は、入力映像が MPEG方式で符号化されている場合、その符号ィ匕パラメ ータを使用して、テロップ検出を行うものである。上記実施形態と同等の部分には同 一の符号を付し、適宜説明を省略又は簡略化する。
[0124] 図 16は、この変形例による画像記録再生装置 1 Aの全体機能構成を表す機能プロ ック図であり、上記実施形態の図 2に相当する図である。この図 16において、この画 像記録再生装置 1 Aでは、図 2における上記映像記録再生装置 1の映像ェンコーダ 処理部 14、映像デコーダ処理部 34に代えて MPEGエンコーダ処理部 14A、 MPE
Gデコーダ処理部 34Aが設けられ、また上記映像処理装置 100に代えて映像処理 装置 100Aが設けられて!/、る。
[0125] 図 17 (a)は、上記 MPEGエンコーダ処理部 14Aの詳細機能構成を表す機能プロ ック図であり、図 17 (b)は、上記 MPEGデコーダ処理部 34Aの詳細機能構成を表す 機能ブロック図である。
[0126] 図 17 (a)において、 MPEGエンコーダ処理部 14Aは、カロ算器 14Aaと、 DCT (離 散コサイン変換)部 14Abと、量子化部 14Acと、逆量子化部 14Adと、可変長符号化 部 14Aeと、逆 DCT部 14Afと、動き検出部 14Agと、動き補償予測部 14Ahと、レー ト制御部 14Ajとにより構成されており、図 16に示す AZDコンバータ 12からディジタ ル情報信号 Sdが入力されると、システム制御部 21から出力されている制御信号に基 づき上記 MPEG方式に準拠して圧縮し、エンコード信号 Sedが生成され、マルチプ レクサ 16へと出力される。 [0127] 一方、図 17 (b)において、 MPEGデコーダ処理部 34Aは、可変長復号化部 34Aa と、逆量子化部 34Abと、逆 DCT部 34Acと、加算器 34Adと、動き補償予測部 34Ae とにより構成されており、 MPEG形式でエンコードされたビデオ信号が入力されると、 システム制御部 21から出力されている制御信号に基づき、そのビデオ信号に対して 上記圧縮処理に対応する伸長処理を施し、伸長信号 Soを生成して DZAコンバータ 32に出力する。
[0128] 本変形例の映像処理装置 100Aは、上記映像記録装置 1 Aの外部入力端子 INTP 又は TV受信機 50から入力された映像信号（映像コンテンツ）を MPEGエンコーダ処 理部 14Aによる符号ィ匕後に入力し、あるいは、光ディスク 200から再生された映像信 号をェマルチプレクサ 36より（MPEGデコーダ処理部 34Aによる復号化前の状態で )入力し、その入力した映像信号に含まれるテロップを検出可能となっている。そして 、その検出したテロップ情報に関わる信号を、システム制御部 21へ入力して光デイス ク 200に映像信号や音声信号とともに記録可能であり、またテロップ情報出力端子 E XTTより直接外部へも出力可能となっている。
[0129] 図 18は、本変形例の映像処理装置 100Aの全体機能構成を表す機能ブロック図 であり、上記実施形態の図 3に相当する図である。図 3と同等の部分には同一の符号 を付し、適宜説明を簡略ィ匕又は省略する。図 18において、映像処理装置 100Aが上 記実施形態の映像処理装置 100と異なるのは、入力が MPEG形式の映像データと なったことに関連して、前処理部 106が省略されていることと、新たに復号部 109を 設けたことである。
[0130] 図 19は、図 18に示した映像処理装置 100Aの各機能部が実行する処理手順を表 すフローであり、上記図 4に対応する図である。図 19において、図 4と同様、ステップ S10で初期設定後、 MPEG形式の映像コンテンツの入力が継続されている間、ステ ップ S20における後続フレームが存在するかどうかの判定が満たされて、ステップ S3 OA〜ステップ S 70までのループに入る。
[0131] ステップ S30Aは上記図 4のステップ S30に対応するものであり、処理フレーム抽出 部 101が処理対象のフレームのデータを抽出し、フレームメモリ 107に格納する。そ の後、新たに設けたステップ S35に移り、処理フレーム抽出部 101により上記ステツ プ S30Aで抽出したフレーム力 フレームであるかどう力 （言い換えれば Pフレームまた は Bフレームでな!/、かどうか)が判定される。 Pフレームまたは Bフレームであった場合 は判定が満たされず、後述のステップ S 70に移り、対象を次のフレームに移し、ステツ プ S20に戻って同様の手順を繰り返す。 Iフレームであった場合はステップ S35の判 定が満たされ、上記実施形態のステップ S100に対応するステップ S100Aに移る。
[0132] 図 20は、 2段階エッジ判定部 103で実行する上記ステップ S100Aの詳細手順を表 すフローチャートである。図 20において、図 5のステップ S105に対応するステップ S1 05Aにおいて、まず初期設定として、フレーム全体を小さな領域である小ブロックに 分割する。この例では、一つの小ブロックは MPEGでの「ブロック」に対応する 8画素 X 8画素の領域とし、これによつて、映像データの MPEGのブロックと、テロップ検出 処理上の小ブロックを 1対 1で対応させている。そして、小ブロックの判定結果を書き 込むエッジ小ブロック行列と、大ブロックの判定結果を書き込むエッジ領域行列を用 意し、各要素を初期化する。また、小ブロックと大ブロックの注目位置を画面左上端 に設定する。
[0133] その後、図 5のステップ S110に対応するステップ S110Aに移り、未処理の小ブロッ クが存在するかどうかを判定する。最初は未処理の小ブロックだけであるからこの判 定が満たされ、以降のステップ S116〜ステップ S135までのループに入り、すべての 小ブロックの処理が終了し未処理の小ブロックがなくなるまで、ステップ S135からス テツプ S110Aに戻ってこのループの処理を繰り返す。
[0134] 新たに設けたステップ S116では、ある小ブロックに対して、その小ブロックに対応 する MPEGブロックの (輝度成分の) DCT係数（例えば図 17 (a)に示した MPEGェン コーダ処理部 14Aの DCT部 14Abで生成されたもの）に基づき、テロップらしさの評 価値 Vを算出する。このときの DCT係数力 テロップらしさの評価値 Vを算出する方法 は、たとえば、上記のように 1つの MPEGブロックにおいて、 8 X 8 = 64個から直流成 分を除 、た 63個存在する DCT係数に対し、周波数が高!、成分ほど大きな重み付け を行い、その絶対値を合計したものを評価値 Vとする。これにより、エッジ量 (あるいは エッジ密度）が大きく高周波の成分を有するブロックほど、高い評価値 Vが付けられる ようになる。 [0135] その後、新たに設けたステップ SI 17に移り、テロップらしさの評価値 Vが所定のしき V、値しき 、値 Thrを超えて 、るかどうかを判定する。上記のように評価値 Vとエッジ量と は強い相関があることから（その意味で前述したようにこの判定はエッジ判定の 1つの 態様であり、本明細書中における「エッジ判定」に広い意味で含まれる）、評価値 Vが しきい値 Thrを超えた場合には、ステップ S 117の判定が満たされてその小ブロックは エッジの多い上記エッジ小ブロックとみなされ、上記図 5と同様のステップ S125に移 り、エッジ小ブロック行列のその小ブロックの位置に「1」を書き込む。評価値 Vがしき V、値 Thr以下であった場合、ステップ S117の判定が満たされず上記図 5と同様のス テツプ S 130に移り、エッジ小ブロック行列のその小ブロックの位置に「0」を書き込む 。なお、しきい値 Thrは、あらかじめ適宜の値を設定しておけば足りる。
[0136] 上記ステップ S125又はステップ S130が終了したら上記図 5と同様のステップ S13 5に移り、次の小ブロックに対象（注目位置）を移した後、ステップ S110Aに戻って同 様の手順を繰り返す。
[0137] 以上のようにしてステップ S110A〜ステップ S 135までのループを繰り返し、すべて の小ブロックの処理が終了し未処理の小ブロックがなくなったら、上記ステップ S110 の判定が満たされ、上記図 5と同様のステップ S140へ移る。ステップ S140以降は図 5に示す上記実施形態と同様であるので説明を省略する。
[0138] 図 19に戻り、上記ステップ S100Aの 2段階エッジ処理が終了したら、上記実施形 態と同様のステップ S 50に移り、上記実施形態同様、エッジ消失判定部 104で、以前 に処理したフレームでエッジ領域に含まれていながら今のフレームでエッジ領域に含 まれなかった領域の発生状態から、前回のフレーム力も今回のフレームにかけてテロ ップが消失した可能性があるかどうかを判定する。判定手法は前述の実施形態と同 様のもので足りる。
[0139] エッジが消失し、テロップ消失の可能性があった場合はステップ S50の判定が満た され、新たに設けたステップ S55に移る。ステップ S55では、復号部 109で一つ前に 処理した Iフレームの復号処理を行い、少なくとも輝度画像を生成する。そしてエッジ を抽出し、絶対値のしきい値判定により 2値ィ匕する。
[0140] ステップ S55が終了したら、図 5と同様のステップ S200へ移り、フレームテロップ判 定を行う。ステップ S200以降の手順は上記実施形態と同様であるので説明を省略 する（なお上記実施形態での「静止エッジ」を、抽出した「エッジ」として読み替えて適 用する)。
[0141] なお、既に処理した Iフレームを常に 2枚以上フレームメモリ 107に一時保存してお き、テロップ消失の可能性があった時に、一つ前の Iフレームに加えて念のためにそ れ以前の Iフレームも復号部 109で復号し、それらに共通する静止エッジを抽出でき るようにしてちょい。
[0142] なお、本変形例においては、図 20に示した 2段階エッジ判定部 103の実行する制 御フローのステップ S105Aが、請求項記載の、 1つのフレームを複数の大ブロックに 分割するとともに、各大ブロックをさらに複数の小ブロックに分割する分割設定手段に 相当する。またステップ S110A〜ステップ S135力 複数の小ブロックのそれぞれに ついて、エッジに関わる第 1の判定基準 (DCT係数に基づく評価値 V)に応じた 1次 判定を行う 1次判定手段に相当するとともに、第 1の判定を行う第 1判定手段にも相 当する。
[0143] 本変形例によっても、上記実施形態と同様の効果を得る。すなわち、本変形例の映 像処理装置 100Aでは、 2段階エッジ判定部 103の実行するステップ S116及びステ ップ S117にて、 DCT係数を用いた評価によって小ブロックにお 、て間接的にエッジ 検出を行うとともに、最初の段階としてその小ブロックに対し大ざっぱに判定を行う（こ の例では、高周波成分を多く含む小ブロックであるかどうかに基づきエッジ小ブロック と判定する)。その後、その判定が満たされたものについて、別の基準 (この例ではェ ッジ小ブロックを含む大ブロックがエッジ大ブロックであるかどう力）で絞り込んで高深 度のエッジ判定を行うことができるので、より精度の高 、エッジ判定を行うことができる
。この結果、確実に高精度のテロップ検出を行う（よりテロップらしい領域を検出する） ことができる。その他についても、上記実施形態とほぼ同様の効果を得ることができる
[0144] また、これに加え、以下のような効果を奏する。すなわち、 MPEG方式の特性を利 用し DCT係数を用いて（=言い換えれば間接的にエッジを検出して)小ブロックに対 し 1次判定を行うことにより、上記実施形態や（1)の変形例のように小ブロックに存在 するエッジを直接検出してそのエッジ量に応じて 1次判定を行う場合に比べ、 1次判 定に要する解析等の処理量を削減できる。
[0145] また、復号部 109における復号ィ匕より前に 2段階エッジ判定部 103における 1次判 定ゃこれに基づく 2次判定を含むエッジ判定を行うことが可能となる（図 18参照）ので 、このエッジ判定以降の処理については、エッジ判定でテロップである可能性がある と判定されたフレームについてのみ、圧縮符号ィ匕された映像信号の復号ィ匕を行えば 足りる。したがって、判定対象の映像信号のすべてのフレームを復号化しエッジ判定 及びそれ以降の処理を行う場合に比べ、復号化を行うデータ処理量を削減すること ができる。また、保持するフレームが MPEG形式の Iフレームなので、フレームメモリ 1 07の容量を削減できる効果もある。
[0146] なお、本変形例において、図 20に示す上記ステップ S117における判定が満たさ れた後、直ちにステップ S125に移るのでなく新たに設けたステップ S118 (後判定手 段、図示せず）に移り、動き補償処理の有無 (MPEGエンコーダ 14Aの動き補償予 測部 14Ahでの状態)やその態様をパラメータとしてさらに判定を行ってもよ!ヽ。たと えば、予め Iフレームと Iフレームの間で、それぞれの位置でマクロブロックが動き補償 を行っているかどうかを調べ、フレームメモリ 107に保存しておく。そして、 Iフレームが 出現してステップ S 100Aで 2段階ブロック判定を行う際、上記ステップ S 117におい て評価値 V力しき 、値 Thrより大きくステップ S117の判定が満たされたとしても、上記 ステップ S 118において、その小ブロックに対応するブロックが属するマクロブロックの 位置で、動き補償を所定回数以上行っていた場合には、判定が満たされずステップ S125ではなくステップ S130に移り、その小ブロックをエッジ小ブロックではないとみ なしてエッジ小ブロック行列のその小ブロックの位置に 0を書き込むようにすればよ!ヽ 。このように、 DCT係数を用いた 1次判定でテロップの可能性があると判定された場 合でも、動き補償の有無や態様等に応じてさらに詳細な後判定を行 、テロップでは ないものを見つけ出し除外することができるので、さらにテロップ検出の精度を向上 することができる。またこの場合、 MPEG形式へのエンコード時にパラメータ化された 動きの情報をそのまま利用することで、さらに画像解析に係るデータ処理量を削減で きる効果がある。 [0147] なお、以上においては、映像処理装置 100, 100Aは、映像記録装置 1, 1Aの外 部入力端子 INTP又は TV受信機 50から入力された映像信号、あるいは、光ディスク 200から再生された映像信号を入力し、その入力した映像信号に含まれるテロップを 検出したが、これに限られず、ハードディスクドライブや、磁気テープに記録されたも のの再生映像信号を入力してもよいし、さらに図示しないネットワーク経由で、各種サ ーバ (ホームサーバを含む)、各種コンピュータ (周辺機器を含む)、各種携帯端末' 情報端末 (携帯電話機を含む)、カラオケ装置、コンシユーマゲーム機、その他デジタ ル映像を扱う製品等からのストリーミング映像信号を入力してもよ ヽ。これらの場合も 、同様の効果を得る。
[0148] その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、 種々の変更が加えられて実施されるものである。

Claims

請求の範囲
[1] 映像信号の各フレームのテロップの検出処理を行う映像処理装置であって、
一つの前記フレームについて、前段階の判定が満たされた場合にその判定基準と は異なる判定基準で次段階の判定を行うようにしながら、エッジに関わる複数段階の 判定を行う複数段エッジ判定手段を有することを特徴とする映像処理装置。
[2] 請求項 1記載の映像処理装置において、
前記複数段エッジ判定手段は、
前記 1つのフレームを複数の大ブロックに分割するとともに、各大ブロックをさらに複 数の小ブロックに分割する分割設定手段と、
前記複数の小ブロックのそれぞれについて、エッジに関わる第 1の判定基準に応じ た第 1の判定を行う第 1判定手段と、
前記複数の大ブロックのそれぞれについて、前記小ブロックの存在に関わる第 2の 判定基準に応じた第 2の判定を行う第 2判定手段とを含み、
前記第 1判定手段における前記第 1の判定の結果と、前記第 2判定手段における 前記第 2の判定との結果に応じて、エッジに関わる複数段階の判定を行うことを特徴 とする映像処理装置。
[3] 請求項 2記載の映像処理装置において、
前記第 1判定手段は、前記第 1の判定として、前記複数の小ブロックのそれぞれに ついて、前記第 1の判定基準に応じた 1次判定を行う 1次判定手段であり、
前記第 2判定手段は、前記第 2の判定として、前記複数の大ブロックのそれぞれに っ 、て、前記 1次判定手段で判定が満たされた小ブロックの存在に関わる前記第 2 の判定基準に応じた 2次判定を行う 2次判定手段であることを特徴とする映像処理装 置。
[4] 請求項 3記載の映像処理装置において、
前記 1次判定手段は、前記第 1の判定基準として、判定対象の前記小ブロックに存 在するエッジの量に応じて前記 1次判定を行うことを特徴とする映像処理装置。
[5] 請求項 3記載の映像処理装置において、
前記 1次判定手段は、前記第 1の判定基準として、 MPEG方式に基づいて圧縮符 号ィ匕された前記映像信号の各フレーム内の、判定対象の前記小ブロックの DCT係 数に応じて前記 1次判定を行うことを特徴とする映像処理装置。
[6] 請求項 5記載の映像処理装置において、
前記 1次判定手段は、前記 1次判定が満たされた小ブロックに対し、動き補償処理 の有無やその態様に応じた後判定を行う後判定手段を備えることを特徴とする映像 処理装置。
[7] 請求項 3乃至 6のいずれか 1項記載の映像処理装置において、
前記 2次判定手段は、前記第 2の判定基準として、判定対象の前記大ブロックに存 在する、前記 1次判定が満たされた前記小ブロックの数に応じて、前記 2次判定を行 うことを特徴とする映像処理装置。
[8] 請求項 3乃至 6のいずれか 1項記載の映像処理装置において、
前記 2次判定手段は、前記第 2の判定基準として、判定対象の前記大ブロックに存 在する、前記 1次判定手段が満たされた前記小ブロックの存在位置の略線状連続性 に応じて、前記 2次判定を行うことを特徴とする映像処理装置。
[9] 請求項 1乃至 8のいずれか 1項記載の映像処理装置において、
一つの前記フレームについて、周辺に比べて輝度又は色差が略等しい画素が連 続する平坦領域の存在に関わる判定を行う平坦判定手段を有することを特徴とする 映像処理装置。
[10] 請求項 9記載の映像処理装置において、
前記平坦判定手段は、前記 1つのフレームに含まれる複数の前記平坦領域をその 代表輝度値の近さに応じてグループィ匕するグループ化手段を備え、
このグループィヒ手段でグループ化された各グループごとに、前記平坦領域に関わ る特性値に応じた判定を行うことを特徴とする映像処理装置。
[11] 請求項 10記載の映像処理装置において、
前記平坦判定手段は、前記平坦領域に関わる特性値として、前記平坦領域が前 記フレーム中に占める幅、前記平坦領域の数、前記平坦領域の位置のうち少なくとも
1つに応じた判定を行うことを特徴とする映像処理装置。
[12] 映像信号の各フレームのテロップの検出処理を行う映像処理方法であって、 一つの前記フレームについて、前段階の判定が満たされた場合にその判定基準と は異なる判定基準で次段階の判定を行うようにしながら、エッジに関わる複数段階の 判定を行うことを特徴とする映像処理方法。
PCT/JP2006/312258 2005-07-27 2006-06-19 映像処理装置及び映像処理方法 WO2007013238A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007528374A JP4637180B2 (ja) 2005-07-27 2006-06-19 映像処理装置及び映像処理方法
US11/996,589 US20090040377A1 (en) 2005-07-27 2006-06-19 Video processing apparatus and video processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005216671 2005-07-27
JP2005-216671 2005-07-27

Publications (1)

Publication Number Publication Date
WO2007013238A1 true WO2007013238A1 (ja) 2007-02-01

Family

ID=37683142

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/312258 WO2007013238A1 (ja) 2005-07-27 2006-06-19 映像処理装置及び映像処理方法

Country Status (3)

Country Link
US (1) US20090040377A1 (ja)
JP (1) JP4637180B2 (ja)
WO (1) WO2007013238A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009117957A (ja) * 2007-11-02 2009-05-28 Nec Corp 映像文字検出装置、映像文字検出方法、および映像文字検出プログラム
JP2011009816A (ja) * 2009-06-23 2011-01-13 Mitsubishi Electric Corp 画像再生装置
JP2011528825A (ja) * 2008-07-19 2011-11-24 ワールドプレイ・（バルバドス）・インコーポレイテッド フレーム全体を平滑化し、保存ディテールをオーバーレイすることによって圧縮映像信号の品質を向上させるシステムおよび方法
CN102379122A (zh) * 2009-03-30 2012-03-14 Nec显示器解决方案株式会社 图像显示装置以及图像处理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4620163B2 (ja) * 2009-06-30 2011-01-26 株式会社東芝 静止字幕検出装置、静止字幕を含む画像を表示する映像機器、および静止字幕を含んだ画像の処理方法
JP5487771B2 (ja) * 2009-07-23 2014-05-07 ソニー株式会社 記録再生装置、記録再生制御方法及び編集システム
WO2011140718A1 (en) * 2010-05-14 2011-11-17 Mediatek Singapore Pte. Ltd. Method for eliminating subtitles of a video program, and associated video display system
JP5853667B2 (ja) * 2011-12-20 2016-02-09 株式会社ソシオネクスト 映像検出装置，映像記録装置，映像記録再生装置，映像検出方法，映像記録方法，および，映像記録再生方法
US8872969B1 (en) * 2013-09-03 2014-10-28 Nvidia Corporation Dynamic relative adjustment of a color parameter of at least a portion of a video frame/image and/or a color parameter of at least a portion of a subtitle associated therewith prior to rendering thereof on a display unit

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09186858A (ja) * 1996-01-08 1997-07-15 Canon Inc 画像処理方法及び装置、及びコンピュータ制御装置
JPH10320557A (ja) * 1997-05-20 1998-12-04 Nippon Telegr & Teleph Corp <Ntt> テロップ文字表示フレーム検出方法及び装置
JP2000182028A (ja) * 1998-12-17 2000-06-30 Matsushita Electric Ind Co Ltd 字幕領域検出方法及びその装置、並びに動画像検索方法及びその装置
JP2004033714A (ja) * 2002-07-05 2004-02-05 Kanemitsu Hasegawa 補助便座

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100196872B1 (ko) * 1995-12-23 1999-06-15 전주범 영상 복화화 시스템의 영상 에러 복구 장치
KR100209413B1 (ko) * 1996-05-23 1999-07-15 전주범 블럭-기반 비디오 신호 부호화 시스템에 이용하기 위한그리드 결정방법
JP3240936B2 (ja) * 1996-09-30 2001-12-25 日本電気株式会社 動き処理回路
JP3503797B2 (ja) * 1997-04-30 2004-03-08 日本電信電話株式会社 映像テロップ検出方法および装置
CN1290312C (zh) * 1998-06-23 2006-12-13 夏普公司 除去读取双面或重叠原稿产生的透印的图像处理装置及其方法
US6807298B1 (en) * 1999-03-12 2004-10-19 Electronics And Telecommunications Research Institute Method for generating a block-based image histogram
JP2004080252A (ja) * 2002-08-14 2004-03-11 Toshiba Corp 映像表示装置及びその方法
JP2004364234A (ja) * 2003-05-15 2004-12-24 Pioneer Electronic Corp 放送番組内容メニュー作成装置及び方法
JP4239074B2 (ja) * 2003-07-11 2009-03-18 ソニー株式会社 情報信号再生装置および情報信号再生方法
US7015726B1 (en) * 2004-08-25 2006-03-21 Hewlett-Packard Development Company, L.P. Edge detector and method
KR101152064B1 (ko) * 2005-11-02 2012-06-11 엘지디스플레이 주식회사 화상 구현 장치 및 그 구동방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09186858A (ja) * 1996-01-08 1997-07-15 Canon Inc 画像処理方法及び装置、及びコンピュータ制御装置
JPH10320557A (ja) * 1997-05-20 1998-12-04 Nippon Telegr & Teleph Corp <Ntt> テロップ文字表示フレーム検出方法及び装置
JP2000182028A (ja) * 1998-12-17 2000-06-30 Matsushita Electric Ind Co Ltd 字幕領域検出方法及びその装置、並びに動画像検索方法及びその装置
JP2004033714A (ja) * 2002-07-05 2004-02-05 Kanemitsu Hasegawa 補助便座

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009117957A (ja) * 2007-11-02 2009-05-28 Nec Corp 映像文字検出装置、映像文字検出方法、および映像文字検出プログラム
JP2011528825A (ja) * 2008-07-19 2011-11-24 ワールドプレイ・（バルバドス）・インコーポレイテッド フレーム全体を平滑化し、保存ディテールをオーバーレイすることによって圧縮映像信号の品質を向上させるシステムおよび方法
CN102379122A (zh) * 2009-03-30 2012-03-14 Nec显示器解决方案株式会社 图像显示装置以及图像处理方法
JP2011009816A (ja) * 2009-06-23 2011-01-13 Mitsubishi Electric Corp 画像再生装置

Also Published As

Publication number Publication date
JP4637180B2 (ja) 2011-02-23
US20090040377A1 (en) 2009-02-12
JPWO2007013238A1 (ja) 2009-02-05

Similar Documents

Publication Publication Date Title
JP4637180B2 (ja) 映像処理装置及び映像処理方法
JP5662023B2 (ja) ディジタル・ビデオ・コンテンツにおけるバンディング・アーチファクトを検出する方法と、装置と、アプリケーション・プログラムを有するプログラム記憶装置
US7474766B2 (en) Motion image processor, motion image processing method and recording medium
US7292769B2 (en) Recording and reproducing apparatus and method
US6983078B2 (en) System and method for improving image quality in processed images
US8224076B2 (en) Image processing method and image processing apparatus
KR20090102610A (ko) 영상 스케일링 검출 방법 및 장치
CN110830787B (zh) 一种检测花屏图像的方法及装置
JP2001218210A (ja) ノイズ検出方法、ノイズ検出装置、画像データ処理装置、記録媒体
EP1053635B1 (en) Method for detecting transitions in sampled digital video sequences
CN107886518B (zh) 图片检测方法、装置、电子设备及可读取存储介质
US8126055B2 (en) Telop detecting method, telop detecting program, and telop detecting device
US8135231B2 (en) Image processing method and device for performing mosquito noise reduction
CN101232573A (zh) 图像处理设备及其方法
JP4931215B2 (ja) 画像処理装置及びその方法
US6781637B2 (en) Image change detecting apparatus and image change detecting method, image encoding apparatus and information recording medium with image change detecting program recorded readable by computer
JP2007501561A (ja) ブロックアーティファクトの検出
US20080063063A1 (en) Electronic device and method for block-based image processing
KR20050027271A (ko) 블록킹 아티팩트들의 동적 검출
US8165337B2 (en) Procedure and device for detecting fades in a sequence of images
KR101501244B1 (ko) 썸네일 생성 방법
JP2009088867A (ja) 画像処理装置
JPH07203444A (ja) 画像歪み領域抽出方法
KR101470191B1 (ko) 지역적 극대 필터 및 지역적 극소 필터를 이용한 비디오 내의 블록 오류 고속 검출 방법 및 장치
JP2009282556A (ja) 信号処理装置および画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2007528374

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11996589

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06766921

Country of ref document: EP

Kind code of ref document: A1