JP5188272B2 - Video processing apparatus and video display apparatus - Google Patents
Video processing apparatus and video display apparatus Download PDFInfo
- Publication number
- JP5188272B2 JP5188272B2 JP2008147558A JP2008147558A JP5188272B2 JP 5188272 B2 JP5188272 B2 JP 5188272B2 JP 2008147558 A JP2008147558 A JP 2008147558A JP 2008147558 A JP2008147558 A JP 2008147558A JP 5188272 B2 JP5188272 B2 JP 5188272B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- video
- motion
- character telop
- telop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 54
- 230000033001 locomotion Effects 0.000 claims description 233
- 238000001514 detection method Methods 0.000 claims description 80
- 238000000034 method Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 235000019557 luminance Nutrition 0.000 claims 14
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims 3
- 230000015654 memory Effects 0.000 description 16
- 238000003708 edge detection Methods 0.000 description 14
- 230000003111 delayed effect Effects 0.000 description 8
- 238000003909 pattern recognition Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000000630 rising effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Studio Circuits (AREA)
- Television Systems (AREA)
Description
本発明は、映像の動きベクトルを検出して動き補正型フレームレート変換を行う技術に関し、特に映像中に所定方向に移動する文字テロップを含む場合に好適なフレームレート変換の技術に関する。 The present invention relates to a technique for detecting a motion vector of a video and performing motion correction type frame rate conversion, and more particularly to a technique for frame rate conversion suitable for a case where a character telop moving in a predetermined direction is included in a video.
動画性能を改善するために、映像の動きベクトルから補間フレームを生成して入力映像信号のフレームレート変換を行う技術が従来から知られている。かかるフレームレート変換において、映像の動きベクトルを誤検出した場合、本来の映像にはない映像がノイズとして現れる(以下、映像の破綻と呼ぶ)こととなり、画質の劣化の原因となる。特に映画中の文字テロップや、番組の最後に流れるような文字テロップのスクロール等に代表される文字情報は、背景の映像とは全く異なる動き(もしくは動かない)をするため、その動きベクトルの検出が難しく、映像の破綻が起きやすい。また視聴者が注目しやすい場所であるため、破綻の認識率も高い。 In order to improve moving image performance, a technique for generating an interpolation frame from a motion vector of a video and converting the frame rate of an input video signal is conventionally known. In such frame rate conversion, when a motion vector of a video is erroneously detected, a video that does not exist in the original video appears as noise (hereinafter referred to as video failure), which causes image quality deterioration. In particular, character information represented by character telop in a movie or character telop scrolling that flows at the end of a program moves (or does not move) completely different from the background image. Is difficult, and video breakdown is likely to occur. In addition, because it is a place where viewers can easily watch, the recognition rate of bankruptcy is also high.
フレームレート変換技術において、映像中の文字テロップを含む領域を検出するための従来技術としては、例えば特許文献1に記載のものが知られている。
As a conventional technique for detecting a region including a character telop in a video in a frame rate conversion technique, for example, a technique described in
上記特許文献1は、通常の映像(物体)にも適用されるブロックマッチング処理で文字テロップの領域と動き量を求めているため、文字とそれ以外の物体との識別が精度良く行えない可能性がある。また、特許文献1は、映像中に複数の動きを持つ文字テロップが存在する場合については考慮されていない。
Since
本発明は、映像中に文字テロップが含まれる場合でも、より高画質な、すなわち映像の破綻を低減したフレームレート変換技術を提供するものである。 The present invention provides a frame rate conversion technique with higher image quality, that is, reduced video failure even when character telop is included in the video.
本発明は、入力映像信号中の文字テロップに関する特徴量を検出して当該文字テロップの領域及び動き情報を検出し、当該文字テロップの領域については当該検出された文字テロップの動き情報を用いることで、他の部分とは異なる補間処理を行ようにしたことを特徴とするものである。 The present invention detects a feature amount related to a character telop in an input video signal to detect the character telop region and motion information, and uses the detected character telop motion information for the character telop region. The present invention is characterized in that an interpolation process different from other parts is performed.
ここで、文字テロップの領域と動きは、1フレームにおける文字テロップの動きに対応したライン数の度数を示す第1のヒストグラムと、ライン単位における文字の動き情報のヒストグラムを示す第2ヒストグラムとにより検出してもよい。 Here, the character telop area and motion are detected by a first histogram indicating the frequency of the number of lines corresponding to the motion of the character telop in one frame and a second histogram indicating a histogram of character motion information in line units. May be.
また、前記入力映像信号が、第1の動き周期(例えば毎秒24(25)フレーム/フィールド)を持つ映像と、該第1の動き周期よりも短い第2の動き周期(例えば毎秒60(50)フレーム/フィールド)を持つ文字情報とを含む場合は、フレームレート変換のための処理を停止するようにしてもよい。 In addition, the input video signal includes a video having a first motion cycle (for example, 24 (25) frames / field per second) and a second motion cycle (for example, 60 (50) per second) shorter than the first motion cycle. In the case of including character information having (frame / field), the processing for frame rate conversion may be stopped.
本発明によれば、映像中に文字テロップが含まれる場合でも、より高画質に(映像の破綻を低減して)フレームレート変換処理を行うことが可能となる。 According to the present invention, even when a character telop is included in a video, it is possible to perform frame rate conversion processing with higher image quality (reducing video breakdown).
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明の第一の実施形態である映像表示装置の構成の一例を示すブロック図である。 FIG. 1 is a block diagram showing an example of the configuration of a video display apparatus according to the first embodiment of the present invention.
以下、本実施例の構成、動作については、映像中に2種類の動きの文字テロップがある図3のような映像をフレームレート変換する場合を例にして説明するものとする。図3において、文字テロップ301、302はそれぞれ図中矢印の方向に、3 pix / frame (3ppf)、15 pix / frame (15ppf)で動いているものとする。
Hereinafter, the configuration and operation of the present embodiment will be described by taking as an example the case of converting the frame rate of an image as shown in FIG. 3 having two types of motion character telops in the image. In FIG. 3, it is assumed that the
図1において、入力信号101はまず、RGB/YCbCr変換部102において、輝度信号Yと色差信号CbCrに変換される。この輝度信号Yと色差信号CbCrは、文字テロップ検出部106へ入力されると共に、メモリI/F部114に入力され、画像メモリ115に一旦蓄えられた後、1フレーム遅延信号105として出力される。
In FIG. 1, an
ラインメモリ部103では、入力信号101(現フレーム信号104)、及び1フレーム遅延信号105をそれぞれ1ライン遅延させた信号を映像部動き検出部111、補間フレーム生成部113へ出力する。
The
文字テロップ検出部106には、現フレーム信号104及び1フレーム前信号105(以下、前フレームと呼ぶ場合も有る)の輝度信号Yのみ入力され、入力画像において文字テロップ部分を検出し、当該文字テロップについて他とは個別に補間処理するための選択補間用イネーブル信号109と110、及び文字テロップのスクロール速度である動き量107及び108を出力する。本実施例では、1枚の映像中に動きが異なる2種類の文字テロップに対して良好な補間処理を行うために、各文字テロップ、例えば図3に示された文字テロップ301、302に対応した2つの選択補間用イネーブル信号109と110、及び2つの動き量107及び108を出力可能に構成される。当然、2つ以上出力するように構成してもよいし、文字テロップが1種類であれば、選択補間用イネーブル信号及び動き量を1つずつ出力するようにしてもよい。
Only the luminance signal Y of the
映像部動き検出部111へは、ラインメモリで1ライン文遅延された輝度信号Yのみが入力され、文字部を含んだ映像全体の動きベクトル112の検出を行い、検出された動きベクトル112を補間フレーム生成部113へ出力する。この動きベクトル112は、例えば時間的に連続する2つのフレーム、すなわち現フレームと前フレームとの中間に補間フレームを挿入する場合では、まず補間フレーム中のある注目画素(補間画素)を通る直線を複数設定する。その直線は、補間フレームの前後にある2フレーム(現フレーム及び前フレーム)のそれぞれに設けられた所定の矩形状領域内に設定される。その領域内に設定された複数の直線それぞれについて、当該直線が通過する上記2フレームの画素同士の差分を演算する。そして、その差分が最も小さい直線を、当該注目画素(補間画素)に対応する動きベクトルとして設定する。ここでは、この映像部動き検出部111における動きベクトルの検出方法の詳細に関しては、例えば特開2006-165602号公報や特開2007-082030号公報等において公知であるのでその説明を省略する。本実施形態は、映像の動き検出の方法として、これらの文献に示された方法以外にもブロックマッチング法、勾配法、位相相関法等を適用することができる。
Only the luminance signal Y delayed by one line sentence in the line memory is input to the video part motion detection unit 111, and the
補間フレーム生成部113では、(文字テロップ部分以外の)映像部に関しては、前記映像部動き検出部111からの動きベクトル112を用いて、文字テロップ部分については、各動き量107及び108を当該文字テロップ部分の動きベクトルとして用いて、補間処理を行って補間フレーム生成を行う。上記動き量107及び108が適用される領域、すなわち文字照りテロップ領域は、文字テロップ検出部106から出力された選択補間用イネーブル信号109及び110によって指定されるものとする。
The interpolation frame generation unit 113 uses the
上記補間処理は、例えば時間的に連続する現フレームと前フレームとの中間に補間フレームを挿入する場合では、補間フレーム中のある注目画素を通る動きベクトルによって指し示された上記2フレームの画素同士の平均値(もしくは補間フレームと現フレームまたは前フレームとの時間的距離に応じた加重平均)を求める処理である。かかる補間処理の詳細についても、上記文献に記載されており公知であるので、ここでは省略することとする。上記のようにして作成された補間フレームは、画像メモリ115とメモリI/F114の動作により、入力映像信号中のフレーム列に挿入される。例えば、入力映像信号のフレームレート(フレーム周波数)が60Hzであり、それを2倍の120Hzにフレームレート変換する場合は、入力映像信号中の1つフレームおきに1つの補間フレームが挿入される。この処理の詳細についても、上記特開2006-165602号公報や特開2007-082030号公報に記載されているのでここでは省略する。
In the interpolation process, for example, when an interpolation frame is inserted between the current frame and the previous frame that are temporally continuous, the pixels of the two frames indicated by the motion vector passing through a certain pixel of interest in the interpolation frame Is an average value (or a weighted average corresponding to the temporal distance between the interpolated frame and the current frame or the previous frame). The details of such interpolation processing are also described in the above-mentioned document and are well-known, and will be omitted here. The interpolation frame created as described above is inserted into the frame sequence in the input video signal by the operations of the
YCbCr/RGB変換部116では、YCbCr信号をRGBへ変換する。前記RGB変換されたデータは、タイミングコントローラ部117を経由し、例えば液晶パネルやPDP等で構成されたFPDパネル118に出力される。
The YCbCr /
図2は、図1における、文字テロップ検出部106の一具体例を示したものである図2において、高輝度/エッジ検出部203では、ラインメモリ部103からの現フレーム信号104及び1フレーム前信号105を入力し、文字の特徴量として高輝度且つ高エッジが存在する部分を現フレーム信号104、及び1フレーム前信号105のそれぞれに対して検出する。文字部分は、他の映像に比べて一般的に輝度が高く、かつ他の映像との輝度差が大きくその変化が急峻であるため、本実施例では、入力された映像信号から文字の特徴量として高輝度且つ高エッジの信号を抽出することで、映像から文字の部分を良好に検出できるようにしている。かかる高輝度且つ高エッジの信号は、ここで、高輝度の信号とは、所定閾値以上の輝度値を持つ信号であり、例えば輝度信号Yの階調が256階調(8bitのデジタル信号)である場合には、例えば150階調以上の輝度であるものとする。また、高エッジの信号とは、輝度信号Yをハイパスフィルタリング(或いは一次または二次微分)することにより抽出された高周波成分(エッジ成分)のうち、所定閾値以上のものとする。
2 shows a specific example of the character
さらに、本実施例に係る高輝度/エッジ検出部203では、上記エッジに関しては、例えば微分回路等を利用して立ち上がりエッジと立ち下りエッジとをそれぞれ検出することにより、下記4種類の文字の特徴量に関する信号を出力するものとする。
現フレーム信号の高輝度且つ立ち上がりエッジ
現フレーム信号の高輝度且つ立ち下がりエッジ
1フレーム前信号の高輝度且つ立ち上がりエッジ
1フレーム前信号の高輝度且つ立ち下がりエッジ
つまり、本実施例においては、現フレーム信号の高輝度且つ立ち上がりエッジを基点とし、所定値以上でほぼ一定レベルの高輝度の信号が現フレーム信号の高輝度且つ立ち下がりエッジまで継続する期間を現フレームの文字テロップの領域とする。また、1フレーム前信号の高輝度且つ立ち上がりエッジを基点とし、所定値以上でほぼ一定レベルの高輝度の信号が1フレーム前信号の高輝度且つ立ち下がりエッジまで継続する期間を1フレーム前の文字テロップの領域とする。このようにして、各フレームにおいて文字テロップが存在する領域が特定される。このような文字領域を特定するため上記4つの信号(つまり各フレームの高輝度且つ立ち上がり/立下りエッジ)を、以下では「文字領域データ」と呼ぶこととする。
Further, the high brightness /
High brightness and rising edge of the current frame signal High brightness and falling edge of the current frame signal High brightness of the
一方、動き検出部204では、上記高輝度/エッジ検出部203で検出された文字領域データを用いて文字テロップのスクロール速度(つまり動き量)を検出して文字テロップのための動き量ヒストグラムを作成する。そして、この文字テロップ動き量のヒストグラム情報から、文字テロップの出現パタンを識別して文字テロップ識別信号208を出力するとともに、文字テロップの動き量107と108を検出して出力する。本実施例においては、動き検出部204では、図3に示したように、例えば映像中の主要な動きを持つ2種類の文字テロップ動き量107(3ppf)と108(15ppf)を出力するものとする。文字テロップ動き量のヒストグラムから文字テロップ識別信号208及び動き量107、108を生成するための構成の詳細については後述する。さらに、動き検出部204は、誤検出の防止のために、ラインマスクイネーブル信号209を出力する。
On the other hand, the
補間イネーブル生成部205では、動き検出部204から検出された動き量107、108とラインマスクイネーブル信号209とを用いて文字テロップ部分の補間用イネーブル信号210を作成する。ここでは、補間用イネーブル信号210は図3で示された文字テロップ301、302に対応した2種類の信号を含むものとする。セレクタ部206では、文字パタン認識信号208に応じて、2つの補間用イネーブル信号210のいずれかを選択して選択補間用イネーブル信号109または110を出力する。
The interpolation enable
図4は、図2における動き検出部204の一具体例を示したものである。図4のデータシフト処理部401には、図2における高輝度/エッジ検出部203から出力された4つの信号、すなわち文字領域データが入力される。データシフト処理部401では、現フレームまたは1フレーム前の文字領域データを1ドット(ピクセル)ずつシフトする。本実施例においては、このシフト量を0〜30とすることで、動き量30ppfまで検出可能とする。
FIG. 4 shows a specific example of the
そしてデータシフト処理部401とマッチング処理部402により、上記文字領域データをシフトしつつ、当該文字領域データから文字テロップの動き量を検出する。例えば、データシフト処理部401で現フレームにおける文字領域データを基準として1ピクセルずつ水平方向にシフト(ずらし)ながら、マッチング処理部402で1フレーム前の文字領域データと比較する。ここで、マッチング処理部402は、現フレームにおける文字領域データのある画素と、1フレーム前の文字領域データのうち、上記ある画素と空間的に同一位置に存在する画素とを比較する。尚、この実施例では、静止した文字も検出可能とするため、シフト量は0から開始するものとする。その比較の結果得られた差分値が所定値以下の場合、両者が「マッチング」したものとし、その「マッチング」した画素の数をここでは「マッチング量」とする。
Then, the data
よって、実際の映像において文字テロップが1フレーム前から現フレームにかけて10ドット動いた場合は、現フレームにおける文字領域データを10ピクセルシフトしたときに、1フレーム前の文字領域データとのマッチング量が最大となる。つまり、このマッチング量を検出することで、文字テロップの動き量を特定することができる。このマッチング量を求める処理は、本実施例ではシフト量が30画素となるまで行うものとする。上記の例では、現フレームにおける文字領域データを1ピクセルずつシフトして前フレームの文字領域データと比較したが、逆に、前フレームにおける文字領域データを1ピクセルずつシフトして現フレームの文字領域データと比較してもよい。尚、エッジ部分の検出方法としては、例えば本出願人により既に出願された特開2007-316293号公報に記載されたものが知られており、その詳細については、当該文献を参照することにより明らかになるので、説明を省略する。 Therefore, when the character telop moves 10 dots from the previous frame to the current frame in the actual video, when the character area data in the current frame is shifted by 10 pixels, the matching amount with the character area data of the previous frame is the maximum. It becomes. That is, by detecting this matching amount, the amount of movement of the character telop can be specified. In this embodiment, the processing for obtaining the matching amount is performed until the shift amount reaches 30 pixels. In the above example, the character area data in the current frame is shifted by one pixel and compared with the character area data in the previous frame. Conversely, the character area data in the previous frame is shifted by one pixel and the character area data in the current frame. You may compare with the data. As an edge portion detection method, for example, the method described in Japanese Patent Application Laid-Open No. 2007-316293 already filed by the present applicant is known, and details thereof are apparent by referring to the document. Therefore, the description is omitted.
ラインヒストグラム検出部400では、0〜30の各シフト量(つまり動き量)毎に、前記マッチング処理部402により演算されたマッチング量をフレーム単位でカウントする。例えば、動き量10(文字領域データのシフト量10)でのマッチング演算において、各ラインのマッチング量が図5(a)に示すような値であり、所定閾値の値を300とした場合、動き量10が存在するラインは同図(b)のようになり、カウント数は、5となる。つまり、動き量10(ppf)で動いている物体が存在するラインがそのフレーム中に5ライン存在する、という情報を得る。これにより、図7において後述するような、縦軸をライン数、横軸を動き量としたラインヒストグラムを得ることができる。このラインヒストグラムによって、ある1フレームにおける文字テロップが存在するラインの数や、後述するように文字テロップの出現パタンを特定することができる。尚、図5では文字テロップが存在しない領域でもマッチング量が検出されているが、これは文字以外の映像に対しても文字の特徴量(高輝度かつ高エッジ部分)を検出する場合があるためである。しかしながら、マッチング量と比較される所定閾値を適切にする(本実施例では300)とすることにより、文字以外の映像に対して検出された文字の特徴量の影響を排除もしくは軽減することができる。尚、上記所定閾値は、1ラインの水平方向画素数の20〜60%程度とすることができる。
The line
一方、画素ヒストグラム検出部404では、0〜30の各シフト量(つまり動き量)毎に、前記マッチング処理部402により演算されたマッチング量をライン単位でカウントすることで画素ヒストグラムを得る。例えば、図6(a)において、動き量10(ppf)で動く物体を含む所定ライン6001におけるヒストグラム分布は、同図(b)のようになる。つまり、図6(b)は、ある1つのライン601においては、動き量10(ppf)で動く文字を最も多く含んでいることを示している。
On the other hand, the pixel
ここで、図6(b)において動き0の部分においてもカウント値があるのは、図6(a)において、動き文字のない部分は、動き0としてマッチングされる可能性が高いからである。また、背景が一般の映像であるような場合においては、もっと複雑なヒストグラム形状になることが予想されるが、本実施例では、高輝度且つ高エッジという文字の特徴量を検出することにより動き検出の条件を文字テロップにフォーカスさせているため、高い検出精度を保つことが可能である。また、より支配的な動き量のみ取り出すために、ヒストグラム情報の平滑化処理を行ってもよい。
Here, the reason why there is a count value even in the portion with
パタン判定部405では、前記ラインヒストグラム403検出部で得られたラインヒストグラム、及び画素ヒストグラム検出部404で得られた画素ヒストグラムを用いて、入力映像中の文字テロップ表示状態、すなわち文字テロップのパタンを識別する。その文字テロップのパタンの一例を図7に示す。
The
図7のNo.0は、映像中に文字テロップが存在しない場合を示しており、その場合は、上記文字領域データが検出されないので、文字の動き量に関するラインヒストグラム及び画素ヒストグラムにおいて、各動き量の度数は0となる。換言すれば、ラインヒストグラム検出部403で検出されたラインヒストグラムの度数が全動き量に渡って0の場合は、映像中に文字テロップが存在しないと判定することができる。 No. 0 in FIG. 7 shows a case where there is no character telop in the video. In this case, since the character area data is not detected, each motion amount is detected in the line histogram and the pixel histogram relating to the character motion amount. The frequency is zero. In other words, when the frequency of the line histogram detected by the line histogram detection unit 403 is 0 over the entire amount of motion, it can be determined that there is no character telop in the video.
No.1の上の例は、ある映像のLine1に静止する文字が存在する場合である。この場合は、上述したマッチング処理により、文字領域データのシフト量0でマッチング量が最大となるので、図示されるように、ラインヒストグラムにおいて動き量0の度数が最大となる。換言すれば、ラインヒストグラム検出部403で検出されたラインヒストグラムにおいて、動き量が0の度数が最大の場合は、ある映像に静止する文字が存在すると識別することができる。
The upper example of No. 1 is a case where a stationary character exists in
No.1の下の例は、ある映像のLine1に左方向に10ppfで動く文字テロップが存在する例である。この場合は、上述したマッチング処理により、文字領域データのシフト量10でマッチング量が最大となるので、図示されるように、ラインヒストグラムにおいて動き量10の度数が最も大きくなる。換言すれば、ラインヒストグラム検出部403で検出されたラインヒストグラムにおいて、動き量が10の度数が最大の場合は、ある映像に動き量10の文字が存在していると識別することができる。
The example below No. 1 is an example in which there is a character telop that moves 10ppf to the left in
No.2の上の例は、ある映像のLine1に静止する文字が、Line2に左方向に10ppfで動く文字テロップが存在する例である。この場合は、上述したマッチング処理により、文字領域データのシフト量0と10のマッチング量が大きくなるので、図示されるように、ラインヒストグラムにおいて動き量0と10の度数が各々所定値を超えたピークとなる。換言すれば、ラインヒストグラム検出部403で検出されたラインヒストグラムにおいて、動き量が0と10の度数がそれぞれ所定値よりも大きい場合は、ある映像に静止する文字と動き量10の文字が存在すると識別することができる。
The upper example of No. 2 is an example in which there is a character telop that moves at 10 ppf to the left in
No.2の下の例は、ある映像のLine1に左方向に3ppfで動く文字テロップが、Line2に左方向に10ppfで動く文字テロップが存在する例である。この場合は、上述したマッチング処理により、文字領域データのシフト量3と15のマッチング量が大きくなるので、図示されるように、ラインヒストグラムにおいて動き量3と15の度数が各々所定値を超えたピークとなる。換言すれば、ラインヒストグラム検出部4003で検出されたラインヒストグラムにおいて、動き量が3と15の度数がそれぞれ所定値よりも大きい場合は、ある映像に動き量3と15の文字が存在すると識別することができる。
The example below No. 2 is an example in which there is a character telop that moves at 3 ppf to the left in
このように、本実施例では、ラインヒストグラムを検出することによって文字テロップの表示状態、すなわち出現パタンを識別することができる。更にラインヒストグラムにおいて、度数が所定値を越える、もしくは最大の動き量を文字テロップの動き量とすることができる。 Thus, in this embodiment, the display state of the character telop, that is, the appearance pattern can be identified by detecting the line histogram. Further, in the line histogram, the frequency exceeds a predetermined value, or the maximum amount of movement can be set as the amount of movement of the character telop.
更に、本実施例では、上述のように画素ヒストグラム検出部404によって1フレームにおける複数ライン毎に、動き量の画素ヒストグラムを検出している。例えば、入力映像信号の有効ライン数が1080本である場合、あるフレームの1番目のラインから1080番目のラインまで、順次ライン毎に動き量の画素ヒストグラムを検出する。これによって、あるフレーム内における文字テロップが存在するラインを特定できる。
Furthermore, in this embodiment, as described above, the pixel
例えば、図7において、Line1が580番目のライン、Line2が950番目のラインであるものとする。図7のNo.1の上の例では、検出されたLine1の画素ヒストグラムが動き0で最大となっており、対応するラインヒストグラムと一致している。このような場合、580番目のラインに文字テロップが存在すると判定できる。同様に、No.1の下の例では、検出されたLine1の画素ヒストグラムが動き10で最大となっており、対応するラインヒストグラムと一致しているので、580番目のラインに文字テロップが存在すると判定できる。
For example, in FIG. 7, it is assumed that Line1 is the 580th line and Line2 is the 950th line. In the example above No. 1 in FIG. 7, the detected pixel histogram of
また、No.2の上の例では、Line1の画素ヒストグラムが動き0と10でピークとなっており、対応するラインヒストグラムと一致しているため、580番目のラインに動きが0の静止文字テロップが存在し、Line2に動きが10の文字テロップが存在することを判定できる。同様にNo.2の下の例では、Line1の画素ヒストグラムが動き3と15でピークとなっており、対応するラインヒストグラムと一致しているため、580番目のラインに動きが3の文字テロップが存在し、Line2に動きが15の文字テロップが存在することを判定できる。
In the upper example of No. 2, the pixel histogram of
本実施例において文字テロップの例としている図3のパタンは、2つのピークが存在するラインヒストグラムのプロファイルから図7におけるパタン2となる。つまりパタン判定部405は、図7に示されるように、No.2の下方のラインヒストグラムにおいて動き量3及び15の2箇所においてその度数が所定値を超える(すなわち2つのピークが存在する)ので、現在の入力映像が2種類の動きテロップ情報があることを示す文字パタン認識信号(ここでは例えばパタン2の”2”という値)208を生成し、図2のセレクタ206及び補間イネーブル生成部205へ出力する。更に、No.2の下方のラインヒストグラムでは、動き量3及び15において度数が所定値を超えているため、前記2種類の文字テロップに夫々対応する動き量107及び108を生成し、図1の補間フレーム生成部113、図2の補間イネーブル生成部205及びラインマスク生成部409へ出力する。この例の場合、動き量3ppfと動き量15ppfという値を2種類の動き量406として出力する。
The pattern of FIG. 3 which is an example of a character telop in the present embodiment is the
また、画素ヒストグラム検出部404で得られた画素ヒストグラムにおいて、出現度数が最大となる動き量を検出することによりライン単位での最大動き量408を出力する。このとき、各ライン中の最大値が出力されるタイミングは1ライン分遅れるため、図1に示すように、映像部動き検出部106、補間フレーム生成部107に入力するデータに対して、文字テロップ検出部106へ1ライン前の信号104を入力している。図3の映像が入力された場合、ライン1では動き量3、ライン2では動き量15という値が各ラインに出力される。
Further, in the pixel histogram obtained by the pixel
ラインマスク生成部409では、前記フレーム単位での支配的な2種類の動き量107及び108と、ライン毎に検出した支配的な動き量408から、マスクをかけるべきラインを判定してそのラインに対するラインマスクイネーブル信号209を出力する。図3の例の場合、ライン1(例えば580本目のラインで動き量3)に対して、動き量15のイネーブルが生成されないようにマスクをかけ、当該ライン1では動き量3のイネーブルのみ生成されるようにする。具体的には、フレーム単位での支配的な2種類の動き量107、108とライン単位での支配的な動き量408とをそれぞれ比較し、値が同じ(若しくは異なっていても所定範囲内)でラインについては0、異なるラインについては1をラインマスクイネーブル信号209として、図2の補間イネーブル生成部205へ出力する。
The line mask generation unit 409 determines a line to be masked from the two kinds of dominant motion amounts 107 and 108 per frame and the
同様に、ライン2(例えば950本目のラインで動き量15)に対して、動き量3のイネーブルが生成されないようにマスクをかけ、当該ライン2では動き量15のイネーブルのみ生成されるようにする。どの動き量がどのラインに対応するか、及びマスクをかけるべきラインは、上述したようにラインヒストグラムとライン毎の画素ヒストグラムとの対応関係により特定することができる。
Similarly, the line 2 (for example, the
図8は、図2における補間イネーブル生成部205の一具体例を示したものである。図8において、第1イネーブル生成部806は、高輝度/エッジ検出部203から出力された上述の文字領域データとパタン判定部405からの動き量107が入力される。そして、1フレーム前信号の文字領域データに対して、現フレーム信号の文字領域データを動き量107分だけ水平方向にシフト(遅延)させ、このシフトさせたものと1フレーム前信号の文字領域データの論理積を演算する。これにより、動き量107で動いている文字領域データ(例えば図3の文字301)を識別、特定する。第2イネーブル生成部8007は、高輝度/エッジ検出部203から出力された文字領域データとパタン判定部405からの動き量108が入力される。これも同様にして、現フレーム信号の文字領域データを動き量108分だけ水平方向にシフト(遅延)させ、このシフトさせたものと1フレーム前信号の文字領域データの論理積をとることにより、動き量108で動いている文字領域データ(例えば図3の文字302)を識別、特定する。尚、前記において現フレームの代わりに1フレーム前信号の方をシフトさせてもよい。
FIG. 8 shows a specific example of the interpolation enable
補間イネーブル判定部808では、図2のパタン判定部405からの文字パタン認識信号208と、図2のラインマスク生成部409からのラインマスクイネーブル信号209から、前記動き量107及び108で動く文字領域データの各々に対して、イネーブルの有効/無効を判定する。例えば今、入力映像が、図3のようにフレーム内に2種類の動きを有する文字テロップが存在する場合(つまりパタン2)を例にして補間イネーブル判定部808の動作を説明する。この場合、補間イネーブル判定部808は、パタン判定部405からの文字パタン認識信号208が「パタン2」であるので、文字テロップが存在する2つの領域について、ラインマスクイネーブル信号209を用いてイネーブルの有効/無効を判定する。第1イネーブル生成部806で識別され出力された文字領域データ(例えば図3の文字301)に対しては、ラインマスクイネーブル信号209が0の場合の時のみ有効とし、1の場合は無効で0クリアされる。第2イネーブル生成部807で識別され出力された文字領域データも同様に、ラインマスクイネーブル信号209が0の場合の時のみ有効とし、1の場合は無効で0クリアされる。本マスク処理により、そのラインにおいて最も支配的な動き方向にのみイネーブルを生成することができ、誤検出による弊害を防止することが可能となる。
In the interpolation enable
補間イネーブル伸張/トレース部809では、文字領域データのみに掛けられているイネーブルを、文字を含む領域全体に拡げる処理を行う。これにより、図3のように動きが異なる2つの文字テロップが存在する場合は、それぞれの文字領域を含む領域に対応する補間用イネーブル信号210を生成する。この拡張処理は、例えば特開2007-316293号公報に記載された手法を参照されたい。この拡張処理は、省略することもできる。
The interpolation enable expansion /
図3の映像が入力された場合、上記拡張処理により、動き量107(3ppf)に対する補間イネーブルが図9(a)、動き量108(15ppf)に対する補間イネーブルが同図(b)として出力されるようになる。尚、図9において、白くされた楕円形の部分が、イネーブルが掛けられたエリアである。 When the image of FIG. 3 is input, the interpolation enable for the motion amount 107 (3 ppf) is output as FIG. 9A and the interpolation enable for the motion amount 108 (15 ppf) is output as FIG. It becomes like this. In FIG. 9, the white oval portion is the area where the enable is applied.
最終的に図2のセレクタ部206にて、文字パタン認識信号208に応じてイネーブル信号の出力切替を行い、動き検出部204からの2種類の動き量107、108と共に、前記各動き量に対応した補間イネーブル信号109、110を出力する。ここで、文字パタン認識信号208がパタン1の場合は、補間イネーブル信号は1つのみ出力され、パタン2の場合は各文字領域に対応して2つ出力される。またパタン1の場合は、動き量は107の1つのみ、パタン2の場合は、動き量は107と108の2つが出力される。また前記セレクタ部206においては、例えば図7において、文字が存在しないパタン0の場合は、補間イネーブル信号210は2つとも0、パタン1のように、1種類の文字しか存在しない場合は、補間イネーブル信号210のうち一方のイネーブル信号は0とするような動作を行う。
Finally, the
文字テロップ検出部105によって検出された2種類の文字の動き量107、108と、前記各動き量を持つ文字が存在するエリアを示す補間イネーブル信号109、110を補間フレーム生成部107へ出力することにより、補間フレーム生成部107では、入力映像のうち補間イネーブル信号109/110で示された領域、すなわち文字テロップの領域をマスクする。これにより補間フレーム生成部107は、マスクされた領域(すなわち補間イネーブル信号109、110で示された文字テロップ領域)については動き量107、108を用いて上述した補間処理を行う。一方、文字テロップ領域以外の背景映像については、映像動き検出部101からの動きベクトルを用いて補間処理が行われる。従って、本実施例によれば、文字テロップとそれ以外の映像領域とを個別に(独立して)補間処理を行うことができ、背景映像部の動きの影響による文字エリアの破綻、もしくはその逆の現象を防ぐことが可能となる。
Output to the interpolation
以上のように、本実施例では、文字の特徴量を検出し、更に動き量毎の度数を示す上記ラインヒストグラムと画素ヒストグラムを作成しているので、映像中に存在する複数の動き文字テロップを検出することが可能となる。且つ各文字テロップの動き量それぞれに対応するイネーブルを生成することができるため、精度良く各動きテロップを識別処理することが可能となる。 As described above, in this embodiment, the feature amount of the character is detected, and the line histogram and the pixel histogram indicating the frequency for each motion amount are created, so that a plurality of motion character telops present in the video are displayed. It becomes possible to detect. In addition, since the enable corresponding to each amount of motion of each character telop can be generated, each motion telop can be identified with high accuracy.
尚、本実施例においては映像中に2種類の動きテロップが存在する場合について述べたが、図2における動き検出部204、及び補間イネーブル生成部205の処理系を複数持たせることによって、2種類以上の文字テロップにも対応可能である。
In this embodiment, the case where two types of motion telops exist in the video has been described. However, by providing a plurality of processing systems for the
また、本実施例においては、映像信号の入出力段にマトリクス変換部を置き、文字テロップの動き量の検出系は全て輝度信号Yのみを用いる構成としているが、これに限定されるものではない。例えばRGB信号をそのまま用いて動き量を検出してもよいし、もしくはRGB信号と輝度信号Yを組み合わせたデータを利用して検出する構成としてもよい。このような構成とすることで、例えば白以外の色付きテロップの動き量の検出精度が向上される。また、白以外の色付きテロップの動き量の検出精度をさらに高めるために、例えば、RGB信号をHSV信号に変換するためのRGB/HSV変換器(図示せず)を別に設け、これにより入力されたRGB信号から色相(Hue:H値)、及び彩度(Saturation:S値)情報を生成し、これを文字テロップ検出部106に入力して文字テロップの動き量を検出するようにしてもよい。このように色情報を加味することにより、文字テロップの検出精度の向上を図ることが可能となる。
In this embodiment, a matrix conversion unit is provided at the input / output stage of the video signal, and the detection system for the amount of motion of the character telop is all configured using only the luminance signal Y. However, the present invention is not limited to this. . For example, the motion amount may be detected using the RGB signal as it is, or the detection may be performed using data obtained by combining the RGB signal and the luminance signal Y. By adopting such a configuration, for example, the detection accuracy of the amount of motion of a colored telop other than white is improved. In order to further improve the detection accuracy of the amount of motion of a colored telop other than white, for example, an RGB / HSV converter (not shown) for converting an RGB signal into an HSV signal is separately provided and input It is also possible to generate hue (Hue: H value) and saturation (Saturation: S value) information from the RGB signals and input them to the character
次に、本発明に第2実施例について図10〜14を参照しつつ説明する。この第2実施例は、入力映像中の文字テロップ表示状態が、例えば図11に示されるような同一ライン上に複数の動きテロップが存在するパタン3のケースの場合でも文字テロップの領域と動きを識別可能にしたことを特徴としている。第1の実施例の構成では、ライン単位で動き検出やイネーブル制御をしているため、パタン3の場合は同一ラインに含まれる2つの動きのうちどちらか一方の動きにしか対応できない。これに対し、本実施例では、画素単位で動き検出やイネーブル制御をすることにより、同一ラインに複数の動き量の文字テロップが存在する場合においても、それらを分離し、処理することが可能としている。
Next, a second embodiment of the present invention will be described with reference to FIGS. In the second embodiment, even when the character telop display state in the input video is the case of
この第2実施例は、第1実施例と比較して、(1)第1実施例では、文字テロップの動きを検出するために、現フレーム及び前フレームデータの1ライン前の信号を用いたが、第2実施例では、これに加え、更に、現フレーム及び前フレームデータの5ライン前の信号も用いている点、(2)文字領域データである高輝度かつ高エッジのデータは、上記5ライン前の信号に基づいて生成している点、及び(3)図2及び図8に示された補間イネーブル生成部の構成が異なっている点、が異なっている。この第2実施例に係る補間イネーブル生成部の一具体例は図10に示される。 In the second embodiment, compared with the first embodiment, (1) In the first embodiment, a signal of one line before the current frame and previous frame data is used to detect the movement of the character telop. However, in the second embodiment, in addition to this, a signal 5 lines before the current frame and previous frame data is also used. (2) High luminance and high edge data as character area data is The difference is that the signal is generated based on the signal five lines before and (3) the configuration of the interpolation enable generation unit shown in FIGS. 2 and 8 is different. A specific example of the interpolation enable generation unit according to the second embodiment is shown in FIG.
図10において、図8に示した補間イネーブル生成部の一例と同一の構成要素に関しては、同一の符号を付してその説明を省略する。図10の具体例は、図8に示した構成において、第1イネーブル生成部806及び第2イネーブル生成部807と補間イネーブル判定部808との間にエリア判定部120を加えたものであり、エリア判定部120の一具体例は図12に示されている。
In FIG. 10, the same components as those of the example of the interpolation enable generation unit shown in FIG. The specific example of FIG. 10 is obtained by adding an
図12に示された回路は、ある対象画素の位置を中心にした所定エリアにおいて、同一ラインに含まれる複数の動き量(ここでは、動き量1、動き量2とする)で動く文字テロップのそれぞれについて、そのエッジをカウントすることにより、その画素の本来の動きを決定するものである。図12において、図10の第1イネーブル生成部806から出力された動き量1でのイネーブル信号121は、ラインメモリ122に入力されて10ライン分遅延され、続いて10clk遅延処理及びHSTカウント部123によって10クロック、すなわち10ピクセル分遅延される。一方、図10の第2イネーブル生成部807から出力された動き量2でのイネーブル信号124は、ラインメモリ125に入力されて10ライン分遅延され、続いて10clk遅延処理及びHSTカウント部126によって10クロック、すなわち10ピクセル分遅延される。ここで、本実施例においては上記のように5ライン前のデータを入力しているため、上述の10ライン遅延及び10clk遅延処理を行うことによって、例えば図13に示すような対象画素135を中心としてV:±5×H:±5のエリアを参照することが可能となる。
The circuit shown in FIG. 12 is a character telop that moves with a plurality of motion amounts (here,
10clk遅延処理及びHSTカウント部123及び126では、同一ラインに含まれる動き量1、動き量2に対してそれぞれエッジの個数をカウントし、それぞれ、各動き量に対応したカウント数127及び128を出力する。ここで、エッジのカウントは、図13のエリアにおける各画素のうち、所定値よりも高いエッジを有する画素の個数をカウントするものとする。よって、本実施例においては、カウント数の最大値は121(11×11)である。今、動き量1のエッジのカウント数127をN_MV1、動き量2のエッジのカウント数128をN_MV2、所定閾値をN_THとし、また動き量1のエリアマスク信号132をAM1_mk、動き量2のエリアマスク信号133をAM2_mkとした場合、エリアマスク生成部129では、以下のような処理を行う。
N_MV1≧N_MV2、且つ N_MV1≧N_THの場合、AM1_mk=0、AM2_mk=1
N_MV2≧N_MV1、且つ N_MV2≧N_THの場合、AM1_mk=1、AM2_mk=0
上記以外の場合、AM1_mk=1、AM2_mk=1
このようにして、エリアマスク生成部129は、動き量1のエリアマスク信号132を動き量2のエリアマスク信号133を生成して図2のセレクタへ出力する。
The 10clk delay processing and HST count
When N_MV1 ≧ N_MV2 and N_MV1 ≧ N_TH, AM1_mk = 0, AM2_mk = 1
When N_MV2 ≧ N_MV1 and N_MV2 ≧ N_TH, AM1_mk = 1, AM2_mk = 0
Otherwise, AM1_mk = 1, AM2_mk = 1
In this manner, the area
上記処理について、図11に示したパタン3を拡大した図14を参照して説明する。図14(a)において、「ABC」を含む文字列141は静止(これを動き量1とする)、「あいうえおかきく」を含む文字列142は画面右から左へ15ppf(これを動き量2とする)で動いているものとする。図中の四角いエリア143は、図13に示されたV:±5×H:±5画素のエリアを示している。対象画素144、対象画素145に対するエリアヒストグラムをそれぞれ図14(b)、(c)に示す。上記の演算により、対象画素144では動き量2のイネーブルがマスクされ(AM2_mk=1)、対象画素145では動き量1のイネーブルがマスクされる(AM1_mk=1)。
The above process will be described with reference to FIG. 14 in which the
この結果、パタン3の場合、補間イネーブル判定部808からは、EN伸張、トレース処理部809を通して、動き量1(0ppf)の文字列141を含む領域に対応するイネーブル146と、動き量2(15ppf)の文字列142を含む対応するイネーブル147を出力する。
As a result, in the case of
以上のように、本実施例では、同一ライン上に複数の動き文字が存在する場合においても、画素単位でイネーブル制御を行うことにより、これら複数の文字を背景映像から分離し、また個別に補間処理することが可能となる。 As described above, in the present embodiment, even when a plurality of moving characters exist on the same line, the plurality of characters are separated from the background image by performing enable control in units of pixels, and individually interpolated. It becomes possible to process.
また、図10の補間イネーブル判定部808では、文字パタンが3のときは、エリアマスク信号のみ利用し、パタン1、2の場合にはエリアマスク信号とラインマスク信号の論理和をとることで、パタン1、2に関しても実施例1同等の効果を得ることが可能である。
Further, in the interpolation enable
また、本実施例においては、エリアヒストグラムを、対象画素を中心としてV:±5×H:±5画素としているが、これに限定されるものではない。例えば、エリアを11×11以上としてもよく、またエリアの形状を可変(正方形ではなく長方形等)等することにより、より検出精度が向上する。さらに、入力画像の画素数(SD or FullHD等)により、エリアサイズを適応制御する構成としても良い。 In this embodiment, the area histogram is V: ± 5 × H: ± 5 pixels with the target pixel as the center, but is not limited to this. For example, the area may be 11 × 11 or more, and the detection accuracy is further improved by changing the shape of the area (such as a rectangle instead of a square). Furthermore, the area size may be adaptively controlled based on the number of pixels of the input image (such as SD or FullHD).
また、上記第1、2実施例においては、文字テロップの水平方向の動きのみで説明を行ってきたが、例えば所定数ラインメモリを装備させ、所定ライン分のデータを文字テロップ検出部へ入力させることで縦方向への動きの対応も可能である。さらには、1つのフレームを例えば複数の所定エリアブロック単位に分割し、その所定エリア単位で上述した動き量の検出や文字領域の特定処理をする構成とすれば、縦、横、斜め方向の動きへの対応も可能となる。 In the first and second embodiments, the description has been made only with the horizontal movement of the character telop. However, for example, a predetermined number of line memories are provided and data for a predetermined line is input to the character telop detection unit. Therefore, it is possible to cope with the movement in the vertical direction. Furthermore, if one frame is divided into, for example, a plurality of predetermined area block units, and the above-described motion amount detection and character area specifying processing is performed in units of the predetermined area units, the movement in the vertical, horizontal, and diagonal directions is performed. It is also possible to respond to.
図15は、本発明の第3実施例における映像処理装置に適用されるフレームレート変換装置の構成の一例を示している。 FIG. 15 shows an example of the configuration of a frame rate conversion apparatus applied to the video processing apparatus in the third embodiment of the present invention.
本実施例は、動き周期が異なる物体が混在する映像に対してフレームレート変換処理を良好にするものであり、例えば、24(25)コマで構成されるテレシネ信号に60(50)コマで構成される文字情報が表示される場合において、動き補正フレームレート変換機能をオフようにしている。これにより、フレームレート変換処理に伴う文字情報のガタツキを防ぐことができる。尚、図15において、図1に示した回路と同一の構成要素に関しては、同一の符号を付してその説明を省略する。 In this embodiment, frame rate conversion processing is improved for video in which objects having different motion cycles are mixed. For example, a telecine signal composed of 24 (25) frames is composed of 60 (50) frames. When the character information to be displayed is displayed, the motion correction frame rate conversion function is turned off. Thereby, it is possible to prevent the character information from rattling due to the frame rate conversion process. In FIG. 15, the same components as those in the circuit shown in FIG.
テレシネ検出部152は、入力映像信号151がテレシネ信号(映画ソース)であるか否かを検出し、テレシネ判別信号を出力する。テレシネ判別の方法は、現フレームデータと、メモリI/F114及び画像メモリ115によって得られた1フレーム前データとの差分情報から、2-3プルダウンの位相を検出するもので、一般的に知られている技術であるため詳細はここでは記載しない。文字テロップ検出部153は、入力映像中の文字テロップの動きを第1実施例で説明したものと同様な方法により検出し、結果を出力する。その構成は、第一、第二の実施例にて説明した構成のものとしても良いし、単純に動き文字テロップの有無を検出するだけの機能を持ったものでも良い。動きベクトル検出部154では、第1実施例で説明したものと同様な方法により現フレームデータと1フレーム前データから映像の動きベクトルを検出する。この動きベクトルの検出は、これ以外にも、ブロックマッチング法、勾配法、位相相関法等を用いてもよい。補間フレーム生成部155は、前記動きベクトル検出部154(場合によっては文字テロップ検出部153からも)からの動きベクトル情報に基づいて、第1実施例で説明したものと同様な方法により補間フレームを生成する。ここで、動きベクトル検出部154、補間フレーム生成部155、メモリインターフェース部156のそれぞれには、テレシネ検出部152からのテレシネ判別信号が入力されており、入力映像が映画(つまり2-3、2-2プルダウン方式のテレシネ信号のフォーマット)かそれ以外かでその動作を切り替えている。
The
TVにおける映画放送においては、例えば映画の宣伝情報等の文字情報を後から映像に重畳させて放送するものが多い。この場合、映像部は2-3プルダウンされた毎秒24コマの映像であるのに対し、文字情報は毎秒60コマの映像である。図15のシステムに、かかる映像入力があった場合、テレシネ検出部152では通常、メインの映像部が24コマであるため、当該映像入力はテレシネ信号のフォーマットである映画と判定する。その場合、前記文字情報の部分も含めて映画として認識し、動き補正フレームレート変換を行ってしまうため、元々60コマで構成されていた文字情報部分は、ガタツキが発生してしまう。この理由について図16を使って説明する。
In many movie broadcasts on TV, for example, character information such as movie advertisement information is later superimposed on the video and broadcast. In this case, the video part is a video image of 24 frames per second pulled down 2-3, while the character information is a video image of 60 frames per second. When such a video input is made in the system shown in FIG. 15, the
図16において、同一アルファベット(大文字)で現しているフレームは、同一のフレーム情報であることを示し、また小文字のアルファベットは文字情報の内容を示している。24コマの映画をTVで放送する場合は、2-3プルダウンによって毎秒60コマ化されて図16(a)のように送られてくる。一方、宣伝情報等の文字情報データは、元々毎秒60コマであるために、(b)のように送られてくる。補間フレーム生成部195では、テレシネ検出部152によって入力映像がテレシネ信号であると判別され、その判別信号を受けた場合は、その図中矢印で示されたキーフレーム(複数の同一映像内容のフレームのうち、時間的に最先のフレーム)の位置を検出し、そのキーフレーム間での動き検出を行い、補間フレームを生成する。ここで“d”を映像中の文字情報データの動き量とした場合、(a)のキーフレームと同じ矢印位置の文字データのフレームを見ると、等速“d”で動いているはずの文字データが2d、3dの動き量となり、フレーム毎に動き量が異なっていることが分かる。従って、フレーム毎に異なる動きが検出され、その動きに対応した補間フレームが生成されるため、文字情報データ部分はガタツクこととなる。
In FIG. 16, frames represented by the same alphabet (upper case) indicate the same frame information, and lower case alphabets indicate the contents of the character information. When a 24-frame movie is broadcast on TV, it is converted to 60 frames per second by 2-3 pull-down and sent as shown in FIG. On the other hand, since character information data such as advertisement information is originally 60 frames per second, it is sent as shown in (b). In the interpolation frame generation unit 195, the
そこで本実施例では、テレシネ検出部152において入力映像がテレシネ信号のフォーマット(すなわち映画)と判定された場合、文字テロップ検出部153により、その映像中に動きテロップがある場合には、動き補正フレームレート変換動作をオフし、現フレームをスルー処理(つまり、そのまま出力)する。つまり、テレシネ信号フォーマットの映画放送中に動きテロップがある場合は、何もせずそのまま表示する。本処理により、映像部の動画質改善は見込めなくなることになるが、文字情報データのガタツキの弊害を改善することができる。
Therefore, in this embodiment, when the
以上のように、本実施例では、入力映像が映画の場合で且つ、映像中に動きテロップがある場合には、動き補正フレームレート変換処理をオフすることによって、動きテロップのガタツキ弊害を防止することが可能となる。 As described above, in the present embodiment, when the input video is a movie and there is a motion telop in the video, the motion correction frame rate conversion processing is turned off to prevent the motion telop from being adversely affected. It becomes possible.
また、本実施例では、全てハードウエアにて処理を行う構成としているが、これに限るものではなく、必要情報(テレシネ信号、動き文字テロップ有無情報等)を外部マイコンから読出し、マイコン側でソフトウェア処理する構成としても良い。 In the present embodiment, all the processing is performed by hardware. However, the present invention is not limited to this, and necessary information (telecine signal, motion character telop presence / absence information, etc.) is read from an external microcomputer, and the microcomputer performs software. It is good also as a structure to process.
図17は、本発明の第4の実施形態である文字テロップ検出部の構成の一例を示すブロック図である。図17において、図2に示した第一の実施形態における画像表示装置と同一の構成要素に関しては、同一の符号を付してその説明を省略する。 FIG. 17 is a block diagram illustrating an example of a configuration of a character telop detection unit according to the fourth embodiment of the present invention. In FIG. 17, the same components as those of the image display device according to the first embodiment shown in FIG.
本実施の形態が第1の実施例と異なる点は、黒文字等低輝度のテロップを検出できるように、低輝度、エッジ検出手段を設けたところにある。本実施例によれば、輝度の高くない文字テロップに関しても、動画質改善が可能となる。 This embodiment is different from the first embodiment in that low luminance and edge detection means are provided so that low luminance telops such as black characters can be detected. According to the present embodiment, it is possible to improve the moving image quality even for a character telop having a low luminance.
一般放送においては、様々な色、輝度のテロップが重畳される。一般的な文字テロップは背景と比較して高輝度なものが多いが、中には黒文字等輝度の低いテロップも存在するため、高輝度且つエッジが存在する、という条件だけではそれを検出することができない。文字が低輝度でも、背景の輝度が高い場合はエッジを捉えることができるが、厳密に文字部分を捉えているわけではない。 In general broadcasting, telops of various colors and brightness are superimposed. Many general character telops are brighter than the background, but some telops have low luminance such as black characters, so they can be detected only on the condition that they have high luminance and edges. I can't. Even if the character has low luminance, the edge can be captured if the background has high luminance, but the character portion is not strictly captured.
そこで、本実施例では、高輝度/エッジ検出部203に加え、もう1系統低輝度テロップ用の低輝度/エッジ検出部171を追加することで、低輝度テロップの検出を行う。高輝度、エッジ検出部203と低輝度/エッジ検出部171は、その構成は同一としても構わない。具体的には、輝度判定において、高輝度、エッジ検出部2003では所定閾値以上という条件で検出を行うのに対し、低輝度、エッジ検出部23001では所定閾値以下という条件で検出を行う。エリア補正部172では、前記高輝度/エッジ検出部203からのエリア出力と、低輝度/エッジ検出部171からのエリア出力の論理和を取り、高輝度、低輝度両方の条件を満たすエリアのエッジ信号が出力される。この後の動作は、第1、2の実施例と同じである。
Therefore, in this embodiment, the low luminance telop is detected by adding another low luminance /
以上のように、本実施例では、高輝度テロップに加え、低輝度のテロップに関しても検出可能となり、動画質改善効果を得ることができる。 As described above, in this embodiment, it is possible to detect not only high luminance telops but also low luminance telops, and an effect of improving moving image quality can be obtained.
また、本実施例においては、輝度、エッジ検出系を2系統持たせることで、高輝度、低輝度文字テロップへの対応を図っているが、これに限るものではなく、2系統以上持たせることで、文字テロップの輝度を細かく判別可能にして文字テロップを識別精度を向上させるようにしてもよい。 Further, in this embodiment, by providing two systems of luminance and edge detection systems, the correspondence to high luminance and low luminance character telops is aimed at, but this is not restrictive, and there are two systems or more. Thus, the brightness of the character telop may be finely discriminated to improve the accuracy of identifying the character telop.
101…入力信号、102…RGB/YCbCr変換部、103…ラインメモリ、104…現フレーム1ライン前データ、105…1フレーム前1ライン前データ、106…文字テロップ検出部、107、108…文字テロップの動き量、109、110…文字テロップ有/無信号、111…映像部動き検出部、112…映像部動きベクトル、113…補間フレーム生成部、114…メモリインターフェース部、115…画像メモリ、116…YCbCr/RGB変換部、117…タイミングコントロール部、118…FPDパネル。 101 ... Input signal, 102 ... RGB / YCbCr converter, 103 ... Line memory, 104 ... Data one line before current frame, 105 ... Data one line before one frame, 106 ... Character telop detector, 107,108 ... Character telop , 109, 110: Character telop presence / absence signal, 111: Video part motion detection part, 112 ... Video part motion vector, 113 ... Interpolation frame generation part, 114 ... Memory interface part, 115 ... Image memory, 116 ... YCbCr / RGB conversion unit, 117 ... timing control unit, 118 ... FPD panel.
Claims (10)
前記入力映像について、1フレーム内において、各動き量毎にその動き量で動いている物体が存在するラインの数を示す第1のヒストグラムを生成し、1ライン内において、各動き量毎の画素数を示す第2のヒストグラムを生成し、前記第1のヒストグラム及び前記第2のヒストグラムに基いて、前記入力映像に文字テロップが含まれていない状態、前記入力映像に静止した文字テロップが含まれている状態、前記入力映像に動きのある文字テロップが含まれている状態、前記入力映像に静止した文字テロップと動きのある文字テロップとの両者が含まれている状態、および前記入力映像に異なる動きの複数種類の文字テロップが含まれている状態のいずれの状態であるかを判定し、及び動きのある文字テロップがある場合の該動きのある文字テロップのライン及び動き量を判定することにより、前記入力映像に含まれる文字テロップの有無及び前記入力映像に含まれる文字テロップの動き量を検出する文字テロップ検出部と、
前記文字テロップ検出部で検出された前記文字テロップの領域及び動き情報または前記動きベクトル生成部によって生成された動きベクトルを用いて、前記入力映像について補間処理を行い補間フレームを生成する補間フレーム生成部と、
前記補間フレーム生成部によって生成された補間フレームを前記入力映像のフレーム列とを組み合わせて、前記入力映像のフレームレートと異なるフレームレートの映像を生成する映像信号生成部とを備え、
前記補間フレーム生成部は、前記文字テロップ検出部で検出された前記文字テロップ領域に対応する補間処理を、前記文字テロップ領域以外の他の映像部分の補間処理とは異ならせて行うことを特徴とする映像処理装置。 Information on the current frame of the input video, and a motion vector detection unit that detects information on the motion vector of the video using temporally past frames with respect to the current frame;
For the input video, a first histogram indicating the number of lines in which an object moving with the amount of motion exists for each amount of motion within one frame is generated, and pixels for each amount of motion within one line are generated. A second histogram indicating a number is generated, and based on the first histogram and the second histogram, the input image does not include a character telop, and the input image includes a stationary character telop The input video includes a moving character telop, the input video includes both a stationary character telop and a moving character telop, and the input video is different. It is determined which state includes a plurality of types of character telops of movement, and a sentence with movement when there is a character telop with movement By determining the line and motion amount of the telop, and the character telop detector for detecting the motion amount of the character telop included in presence and the input image of a character telop included in the input image,
An interpolation frame generation unit that generates an interpolation frame by performing an interpolation process on the input video using the character telop area and motion information detected by the character telop detection unit or a motion vector generated by the motion vector generation unit When,
A video signal generation unit that generates a video having a frame rate different from the frame rate of the input video by combining the interpolation frame generated by the interpolation frame generation unit with a frame sequence of the input video;
The interpolation frame generation unit performs interpolation processing corresponding to the character telop area detected by the character telop detection unit, differently from interpolation processing of a video portion other than the character telop area. Video processing device.
前記入力映像について、1フレーム内において、各動き量毎にその動き量で動いている物体が存在するラインの数を示す第1のヒストグラムを生成し、1ライン内において、各動き量毎の画素数を示す第2のヒストグラムを生成し、前記第1のヒストグラム及び前記第2のヒストグラムに基いて、前記入力映像に文字テロップが含まれていない状態、前記入力映像に静止した文字テロップが含まれている状態、前記入力映像に動きのある文字テロップが含まれている状態、前記入力映像に静止した文字テロップと動きのある文字テロップとの両者が含まれている状態、および前記入力映像に異なる動きの複数種類の文字テロップが含まれている状態のいずれの状態であるかを判定し、及び動きのある文字テロップがある場合の該動きのある文字テロップのライン及び動き量を判定することにより、前記入力映像に含まれる文字テロップの有無及び前記入力映像に含まれる文字テロップの動き量を検出する文字テロップ検出部と、 For the input video, a first histogram indicating the number of lines in which an object moving with the amount of motion exists for each amount of motion within one frame is generated, and pixels for each amount of motion within one line are generated. A second histogram indicating a number is generated, and based on the first histogram and the second histogram, the input video does not include a character telop, and the input video includes a stationary character telop The input video includes a moving character telop, the input video includes both a stationary character telop and a moving character telop, and the input video is different. It is determined which state includes a plurality of types of character telops of movement, and a sentence with movement when there is a character telop with movement By determining the line and motion amount of the telop, and the character telop detector for detecting the motion amount of the character telop included in presence and the input image of a character telop included in the input image,
前記文字テロップ検出部で検出された前記文字テロップの領域及び動き情報または前記動きベクトル生成部によって生成された動きベクトルを用いて、前記入力映像について補間処理を行い補間フレームを生成する補間フレーム生成部と、 An interpolation frame generation unit that generates an interpolation frame by performing an interpolation process on the input video using the character telop area and motion information detected by the character telop detection unit or a motion vector generated by the motion vector generation unit When,
前記補間フレーム生成部によって生成された補間フレームを前記入力映像のフレーム列とを組み合わせて、前記入力映像のフレームレートと異なるフレームレートの映像を生成する映像信号生成部と、 A video signal generation unit that generates a video having a frame rate different from the frame rate of the input video by combining the interpolation frame generated by the interpolation frame generation unit with a frame sequence of the input video;
前記映像信号生成部が生成した映像を表示する表示部とを備え、 A display unit for displaying the video generated by the video signal generation unit,
前記補間フレーム生成部は、前記文字テロップ検出部で検出された前記文字テロップ領域に対応する補間処理を、前記文字テロップ領域以外の他の映像部分の補間処理とは異ならせて行うことを特徴とする映像表示装置。 The interpolation frame generation unit performs interpolation processing corresponding to the character telop area detected by the character telop detection unit, differently from interpolation processing of a video portion other than the character telop area. Video display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008147558A JP5188272B2 (en) | 2008-06-05 | 2008-06-05 | Video processing apparatus and video display apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008147558A JP5188272B2 (en) | 2008-06-05 | 2008-06-05 | Video processing apparatus and video display apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009296284A JP2009296284A (en) | 2009-12-17 |
JP5188272B2 true JP5188272B2 (en) | 2013-04-24 |
Family
ID=41544059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008147558A Active JP5188272B2 (en) | 2008-06-05 | 2008-06-05 | Video processing apparatus and video display apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5188272B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5371682B2 (en) * | 2009-10-19 | 2013-12-18 | キヤノン株式会社 | Image processing apparatus and image processing method |
JP2014123787A (en) | 2012-12-20 | 2014-07-03 | Sony Corp | Image processing apparatus, image processing method and program |
JP6326763B2 (en) * | 2013-10-25 | 2018-05-23 | セイコーエプソン株式会社 | Electro-optical device, electronic apparatus, image processing device, and electro-optical device control method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5005260B2 (en) * | 2006-05-25 | 2012-08-22 | 株式会社ジャパンディスプレイイースト | Image display device |
JP4355347B2 (en) * | 2006-09-28 | 2009-10-28 | シャープ株式会社 | Image display apparatus and method, image processing apparatus and method |
-
2008
- 2008-06-05 JP JP2008147558A patent/JP5188272B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009296284A (en) | 2009-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4620163B2 (en) | Still subtitle detection apparatus, video device for displaying image including still subtitle, and method for processing image including still subtitle | |
JP4438795B2 (en) | Video conversion device, video display device, and video conversion method | |
US8175121B2 (en) | Image processor and image display apparatus comprising the same | |
US8558772B2 (en) | Image display apparatus | |
EP1351494A2 (en) | Motion vector detector and motion vector detecting method | |
US8411974B2 (en) | Image processing apparatus, method, and program for detecting still-zone area | |
US9215353B2 (en) | Image processing device, image processing method, image display device, and image display method | |
US8538070B2 (en) | Motion detecting method and apparatus thereof | |
JP5005260B2 (en) | Image display device | |
US8385430B2 (en) | Video signal processing apparatus and video signal processing method | |
JP5188272B2 (en) | Video processing apparatus and video display apparatus | |
US20120008692A1 (en) | Image processing device and image processing method | |
CN104580978A (en) | Video detecting and processing method and video detecting and processing device | |
JP2009290828A (en) | Image processor, and image processing method | |
JP2008139828A (en) | Image processing apparatus, image processing method, electro-optical device and electronic device | |
US20040263683A1 (en) | Video signal processing apparatus | |
KR100574503B1 (en) | Apparatus for detecting film mode and method the same | |
JP2010124257A (en) | Video processing apparatus, video display device, and frame-rate conversion method | |
JP5164716B2 (en) | Video processing device and video display device | |
KR101577703B1 (en) | Video picture display method to reduce the effects of blurring and double contours and device implementing this method | |
US8045820B2 (en) | System and method for edge direction detection for spatial deinterlace | |
JP5018198B2 (en) | Interpolation signal generation circuit, interpolation signal generation method, program, and video signal processing apparatus | |
JP3925381B2 (en) | Video signal processing circuit | |
JP2011082932A (en) | Method and apparatus for detecting telop image | |
US8625026B2 (en) | Apparatus and method for detecting video film with mix mode |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120918 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130122 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5188272 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |